Bc. Karel Vaculík

Bachelor's thesis

Základy teorie informace a statistické entropie

Basics of information theory and statistical entropy
Abstract:
V této bakalářské práci se na začátku věnujeme úvodu do teorie informace a vzniku Shannonovy entropie, kterou si v následující části odvodíme a definujeme. Ve třetí kapitole si uvedeme další pojmy založené na entropii, jako je podmíněná entropie, relativní entropie nebo vzájemná informace. V závěrečné části se pak zabýváme diferenciální entropií. V textu jsou také spočítány entropie některých známých …more
Abstract:
On the beginning of this thesis we are interested in introduction to information theory and formation of Shannon entropy, which we derive and define in the next part. The third chapter is dedicated to introduce another terms based on the entropy such as conditional entropy, relative entropy or mutual information. In the closing part we look into differential entropy. In this thesis we also calculate …more
 

Keywords

Teorie informace Shannonova entropie Podmíněná entropie Relativní entropie Vzájemná informace Řetězová pravidla Diferenciální entropie Information Theory Shannon Entropy Conditional Entropy Relative Entropy Mutual Information Chain Rules Differential Entropy
 
Language used: Czech
Date on which the thesis was submitted / produced: 8. 1. 2013
Identifier: https://is.muni.cz/th/rsm90/

Thesis defence

  • Date of defence: 8. 2. 2013
  • Supervisor: Mgr. Ondřej Pokora, Ph.D.
  • Reader: Mgr. Bc. Kamil Rajdl, Ph.D.

Citation record

Cite this text

Full text of thesis

Contents of on-line thesis archive
Published in Theses:
  • světu
Other ways of accessing the text
Institution archiving the thesis and making it accessible: Masarykova univerzita, Přírodovědecká fakulta
Složka Reference to the local database directory of the institution