Základy teorie informace a statistické entropie

Bc. Karel Vaculík

Bakalářská práce

Basics of information theory and statistical entropy

Anotace:

V této bakalářské práci se na začátku věnujeme úvodu do teorie informace a vzniku Shannonovy entropie, kterou si v následující části odvodíme a definujeme. Ve třetí kapitole si uvedeme další pojmy založené na entropii, jako je podmíněná entropie, relativní entropie nebo vzájemná informace. V závěrečné části se pak zabýváme diferenciální entropií. V textu jsou také spočítány entropie některých známých rozdělení pravděpodobnosti, jako je normální nebo geometrické rozdělení.

Abstract:

On the beginning of this thesis we are interested in introduction to information theory and formation of Shannon entropy, which we derive and define in the next part. The third chapter is dedicated to introduce another terms based on the entropy such as conditional entropy, relative entropy or mutual information. In the closing part we look into differential entropy. In this thesis we also calculate the entropies of some well-known probability distributions such as normal distribution or geometric distribution.

Klíčová slova

Teorie informace, Shannonova entropie, Podmíněná entropie, Relativní entropie, Vzájemná informace, Řetězová pravidla, Diferenciální entropie, Information Theory, Shannon Entropy, Conditional Entropy, Relative Entropy, Mutual Information, Chain Rules, Differential Entropy

Jazyk práce: čeština

Datum vytvoření / odevzdání či podání práce: 8. 1. 2013

Obhajoba závěrečné práce

• Obhajoba proběhla 8. 2. 2013
• Vedoucí: Mgr. Ondřej Pokora, Ph.D.
• Oponent: Mgr. Bc. Kamil Rajdl, Ph.D.

Masarykova univerzita

Přírodovědecká fakulta

Bakalářský studijní program / obor:
Matematika / Statistika a analýza dat