Informationstheorie/Gedächtnislose Nachrichtenquellen - Versionsgeschichte

Guenter am 13. Juli 2021 um 13:59 Uhr

2021-07-13T13:59:27Z

Guenter am 16. Juni 2021 um 13:59 Uhr

2021-06-16T13:59:06Z

Guenter am 16. Juni 2021 um 12:29 Uhr

2021-06-16T12:29:20Z

Guenter am 16. Juni 2021 um 09:14 Uhr

2021-06-16T09:14:42Z

Guenter am 12. Dezember 2019 um 13:12 Uhr

2019-12-12T13:12:35Z

Guenter am 12. Dezember 2019 um 11:32 Uhr

2019-12-12T11:32:44Z

Guenter am 10. Dezember 2019 um 16:54 Uhr

2019-12-10T16:54:17Z

Änderungen zeigen

Guenter am 18. September 2018 um 08:54 Uhr

2018-09-18T08:54:36Z

Guenter am 18. September 2018 um 08:52 Uhr

2018-09-18T08:52:22Z

Guenter am 17. September 2018 um 16:11 Uhr

2018-09-17T16:11:13Z

Änderungen zeigen

@@ Zeile 12: / Zeile 12: @@
 Im Einzelnen werden behandelt:
-*der&nbsp; &raquo;Entscheidungsgehalt&laquo;&nbsp; und die&nbsp; &raquo;Entropie&laquo;&nbsp; einer gedächtnislosen Nachrichtenquelle,
+:*Der&nbsp; &raquo;Entscheidungsgehalt&laquo;&nbsp; und die&nbsp; &raquo;Entropie&laquo;&nbsp; einer gedächtnislosen Nachrichtenquelle,
-*die&nbsp; &raquo;binäre Entropiefunktion&laquo;&nbsp; und deren Anwendung auf nichtbinäre Quellen,
+:*die&nbsp; &raquo;binäre Entropiefunktion&laquo;&nbsp; und deren Anwendung auf nichtbinäre Quellen,
-*die Entropieberechnung bei&nbsp; &raquo;gedächtnisbehafteten Quellen&laquo;&nbsp; und geeignete Näherungen,
+:*die Entropieberechnung bei&nbsp; &raquo;gedächtnisbehafteten Quellen&laquo;&nbsp; und geeignete Näherungen,
-*die Besonderheiten von&nbsp; &raquo;Markovquellen&laquo;&nbsp; hinsichtlich der Entropieberechnung,
+:*die Besonderheiten von&nbsp; &raquo;Markovquellen&laquo;&nbsp; hinsichtlich der Entropieberechnung,
-*die Vorgehensweise bei Quellen mit großem Symbolumfang, zum Beispiel&nbsp; &raquo;natürliche Texte&laquo;,
+:*die Vorgehensweise bei Quellen mit großem Symbolumfang, zum Beispiel&nbsp; &raquo;natürliche Texte&laquo;,
-*die&nbsp; &raquo;Entropieabschätzungen&laquo;&nbsp; nach Shannon und Küpfmüller.
+:*die&nbsp; &raquo;Entropieabschätzungen&laquo;&nbsp; nach Shannon und Küpfmüller.
 Weitere Informationen zum Thema sowie Aufgaben, Simulationen und Programmierübungen finden Sie im Versuch &bdquo;Wertdiskrete Informationstheorie&rdquo; des Praktikums „Simulation Digitaler Übertragungssysteme ”.&nbsp; Diese (ehemalige) LNT-Lehrveranstaltung an der TU München basiert auf
-*dem Windows-Programm&nbsp; [http://www.lntwww.de/downloads/Sonstiges/Programme/WDIT.zip WDIT] &nbsp; &rArr; &nbsp; der Link verweist auf die ZIP-Version des Programms und
+:*dem Windows-Programm&nbsp; [http://www.lntwww.de/downloads/Sonstiges/Programme/WDIT.zip WDIT] &nbsp; &rArr; &nbsp; der Link verweist auf die ZIP-Version des Programms und
-*der zugehörigen&nbsp; [http://www.lntwww.de/downloads/Sonstiges/Texte/Wertdiskrete_Informationstheorie.pdf Praktikumsanleitung]  &nbsp; &rArr; &nbsp; der Link verweist auf die PDF-Version.
+:*der zugehörigen&nbsp; [http://www.lntwww.de/downloads/Sonstiges/Texte/Wertdiskrete_Informationstheorie.pdf Praktikumsanleitung]  &nbsp; &rArr; &nbsp; der Link verweist auf die PDF-Version.

@@ Zeile 125: / Zeile 125: @@
 :$$p_1 > p_2 > \hspace{0.05cm} \text{ ...}\hspace{0.05cm} > p_\mu > \hspace{0.05cm} \text{ ...}\hspace{0.05cm}  > p_{M-1} > p_M\hspace{0.05cm},\hspace{0.4cm}\sum_{\mu = 1}^M p_{\mu}  = 1 \hspace{0.05cm}.$$
-Wir betrachten nun den ''Informationsgehalt''&nbsp; der einzelnen Symbole, wobei wir den &bdquo;Logarithmus dualis&rdquo; mit $\log_2$ bezeichnen:
+Wir betrachten nun den&nbsp; &bdquo;Informationsgehalt&rdquo;&nbsp; der einzelnen Symbole, wobei wir den &bdquo;Logarithmus dualis&rdquo; mit $\log_2$ bezeichnen:
 :$$I_\mu = {\rm log_2}\hspace{0.1cm}\frac{1}{p_\mu}= -\hspace{0.05cm}{\rm log_2}\hspace{0.1cm}{p_\mu}
@@ Zeile 153: / Zeile 153: @@
 {{BlaueBox|TEXT=
-$\text{Definition:}$&nbsp;  Die&nbsp; '''Entropie'''&nbsp; $H$&nbsp; einer Quelle gibt den ''mittleren Informationsgehalt aller Symbole''&nbsp; an:
+$\text{Definition:}$&nbsp;  Die&nbsp; '''Entropie'''&nbsp; $H$&nbsp; einer Quelle gibt den&nbsp; '''mittleren Informationsgehalt aller Symbole'''&nbsp; an:
 :$$H = \overline{I_\nu} = {\rm E}\hspace{0.01cm}[I_\mu] = \sum_{\mu = 1}^M p_{\mu} \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{p_\mu}=
@@ Zeile 185: / Zeile 185: @@
 *Der Maximalwert&nbsp; $H_\text{max} = 1\; \rm  bit$&nbsp; ergibt sich für&nbsp; $p = 0.5$, also für gleichwahrscheinliche Binärsymbole.&nbsp; Dann liefern&nbsp; $\rm A$&nbsp; und&nbsp; $\rm B$&nbsp; jeweils den gleichen Beitrag zur Entropie.
 * $H_\text{bin}(p)$&nbsp; ist symmetrisch um&nbsp; $p = 0.5$.&nbsp; Eine Quelle mit&nbsp; $p_{\rm A} = 0.1$&nbsp; und&nbsp; $p_{\rm B} = 0.9$&nbsp; hat die gleiche Entropie&nbsp;  $H = 0.469 \; \rm   bit$&nbsp; wie eine Quelle mit&nbsp; $p_{\rm A} = 0.9$&nbsp; und&nbsp; $p_{\rm B} = 0.1$.
-*Die Differenz&nbsp; $ΔH = H_\text{max} - H$ gibt&nbsp; die&nbsp; ''Redundanz''&nbsp; der Quelle an und&nbsp; $r = ΔH/H_\text{max}$&nbsp; die&nbsp; ''relative Redundanz''.&nbsp; Im Beispiel ergeben sich&nbsp; $ΔH = 0.531\; \rm  bit$&nbsp; bzw.&nbsp; $r = 53.1 \rm \%$.
+*Die Differenz&nbsp; $ΔH = H_\text{max} - H$ gibt&nbsp; die&nbsp; &bdquo;Redundanz&rdquo;&nbsp; der Quelle an und&nbsp; $r = ΔH/H_\text{max}$&nbsp; die&nbsp; &bdquo;relative Redundanz&rdquo;.&nbsp; Im Beispiel ergeben sich&nbsp; $ΔH = 0.531\; \rm  bit$&nbsp; bzw.&nbsp; $r = 53.1 \rm \%$.
 *Für&nbsp; $p = 0$&nbsp; ergibt sich&nbsp; $H = 0$, da hier die Symbolfolge &nbsp;$\rm B \ B \ B \text{...}$&nbsp; mit Sicherheit vorhergesagt werden kann.&nbsp; Eigentlich ist nun der Symbolumfang nur noch&nbsp; $M = 1$.&nbsp; Gleiches gilt für&nbsp; $p = 1$ &nbsp; &rArr; &nbsp; Symbolfolge &nbsp;$\rm A \ A \ A \text{...}$.
-*$H_\text{bin}(p)$&nbsp; ist stets eine&nbsp; ''konkave Funktion'', da die zweite Ableitung nach dem Parameter&nbsp; $p$&nbsp; für alle Werte von&nbsp; $p$&nbsp; negativ ist:
+*$H_\text{bin}(p)$&nbsp; ist stets eine&nbsp; &bdquo;konkave Funktion&rdquo;, da die zweite Ableitung nach dem Parameter&nbsp; $p$&nbsp; für alle Werte von&nbsp; $p$&nbsp; negativ ist:
 :$$\frac{ {\rm d}^2H_{\rm bin} (p)}{ {\rm d}\,p^2} =  \frac{- 1}{ {\rm ln}(2) \cdot p \cdot (1-p)}< 0
 \hspace{0.05cm}.$$}}
@@ Zeile 197: / Zeile 197: @@
 :$$H_{\rm quat} = 0.4 \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{0.4} + 0.3 \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{0.3} + 0.2 \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{0.2}+ 0.1 \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{0.1}.$$
-Oft ist zur zahlenmäßigen Berechnung der Umweg über den Zehnerlogarithmus&nbsp; $\lg \ x = {\rm log}_{10} \ x$&nbsp; sinnvoll, da der ''Logarithmus dualis''&nbsp; $ {\rm log}_2 \ x$&nbsp; meist auf Taschenrechnern nicht zu finden ist.
+Oft ist zur zahlenmäßigen Berechnung der Umweg über den Zehnerlogarithmus&nbsp; $\lg \ x = {\rm log}_{10} \ x$&nbsp; sinnvoll, da der&nbsp; &bdquo;Logarithmus dualis&rdquo;&nbsp; $ {\rm log}_2 \ x$&nbsp; meist auf Taschenrechnern nicht zu finden ist.
 :$$H_{\rm quat}=\frac{1}{{\rm lg}\hspace{0.1cm}2} \cdot \left [ 0.4 \cdot {\rm lg}\hspace{0.1cm}\frac{1}{0.4} + 0.3 \cdot {\rm lg}\hspace{0.1cm}\frac{1}{0.3} + 0.2 \cdot {\rm lg}\hspace{0.1cm}\frac{1}{0.2}+ 0.1 \cdot {\rm lg}\hspace{0.1cm}\frac{1}{0.1} \right ] = 1.845\,{\rm bit}
@@ Zeile 223: / Zeile 223: @@
 Man erkennt aus der blauen Kurve für die Quaternärquelle:
 *Die maximale Entropie&nbsp; $H_\text{max} = 2 \; \rm bit/Symbol$&nbsp; ergibt sich für&nbsp; $p = 0.25$ &nbsp; &rArr; &nbsp; gleichwahrscheinliche Symbole: &nbsp; $p_{\rm A} = p_{\rm B} = p_{\rm C} = p_{\rm A} = 0.25$.
-*Mit&nbsp; $p = 0$&nbsp; bzw.&nbsp; $p = 0.5$&nbsp; entartet die Quaternärquelle zu einer Binärquelle mit&nbsp; $p_{\rm B} = p_{\rm C} = 0.5$&nbsp; und&nbsp; $p_{\rm A} = p_{\rm D} = 0$ &nbsp; &rArr; &nbsp; Entropie&nbsp; $H = 1 \; \rm bit/Symbol$.
+*Mit&nbsp; $p = 0$&nbsp; entartet die Quaternärquelle zur Binärquelle mit&nbsp; $p_{\rm B} = p_{\rm C} = 0.5$&nbsp; und&nbsp; $p_{\rm A} = p_{\rm D} = 0$ &nbsp; &rArr; &nbsp; Entropie&nbsp; $H = 1 \; \rm bit/Symbol$.&nbsp; Ähnliches gilt für&nbsp; $p = 0.5$.
 *Die Quelle mit&nbsp; $p_{\rm A} = p_{\rm D} = 0.1$&nbsp; und&nbsp; $p_{\rm B} = p_{\rm C} = 0.4$&nbsp; weist folgende Kennwerte auf (jeweils mit der Pseudoeinheit „bit/Symbol”):

@@ Zeile 12: / Zeile 12: @@
 Im Einzelnen werden behandelt:
-*der&nbsp; ''Entscheidungsgehalt''&nbsp; und die&nbsp; ''Entropie''&nbsp; einer gedächtnislosen Nachrichtenquelle,
+*der&nbsp; &raquo;Entscheidungsgehalt&laquo;&nbsp; und die&nbsp; &raquo;Entropie&laquo;&nbsp; einer gedächtnislosen Nachrichtenquelle,
-*die&nbsp; ''binäre Entropiefunktion''&nbsp; und deren Anwendung auf&nbsp; ''nichtbinäre Quellen'',
+*die&nbsp; &raquo;binäre Entropiefunktion&laquo;&nbsp; und deren Anwendung auf nichtbinäre Quellen,
-*die Entropieberechnung bei&nbsp; ''gedächtnisbehafteten Quellen''&nbsp; und geeignete Näherungen,
+*die Entropieberechnung bei&nbsp; &raquo;gedächtnisbehafteten Quellen&laquo;&nbsp; und geeignete Näherungen,
-*die Besonderheiten von&nbsp; ''Markovquellen''&nbsp; hinsichtlich der Entropieberechnung,
+*die Besonderheiten von&nbsp; &raquo;Markovquellen&laquo;&nbsp; hinsichtlich der Entropieberechnung,
-*die Vorgehensweise bei Quellen mit großem Symbolumfang, zum Beispiel bei&nbsp; ''natürlichen Texten'',
+*die Vorgehensweise bei Quellen mit großem Symbolumfang, zum Beispiel&nbsp; &raquo;natürliche Texte&laquo;,
-*die&nbsp; ''Entropieabschätzungen''&nbsp; nach Shannon und Küpfmüller.
+*die&nbsp; &raquo;Entropieabschätzungen&laquo;&nbsp; nach Shannon und Küpfmüller.
@@ Zeile 28: / Zeile 28: @@
 == Modell und Voraussetzungen ==
 <br>
-Wir betrachten eine wertdiskrete Nachrichtenquelle&nbsp; $\rm Q$, die eine Folge&nbsp; $ \langle q_ν \rangle$&nbsp; von Symbolen abgibt.
+Wir betrachten eine wertdiskrete Nachrichtenquelle&nbsp; $\rm Q$, die eine Folge&nbsp; $ \langle q_ν \rangle$&nbsp; von Quellensymbolen abgibt.
 *Für die Laufvariable gilt &nbsp;$ν = 1$, ... , $N$, wobei&nbsp; $N$&nbsp; „hinreichend groß” sein sollte.
 *Jedes einzelne Quellensymbol &nbsp;$q_ν$&nbsp; entstammt einem Symbolvorrat&nbsp; $\{q_μ \}$&nbsp;  mit&nbsp; $μ = 1$, ... , $M$, wobei&nbsp; $M$&nbsp; den Symbolumfang bezeichnet:
@@ Zeile 39: / Zeile 39: @@
 Es gelten folgende Voraussetzungen:
-*Die quaternäre Nachrichtenquelle wird durch&nbsp; $M = 4$&nbsp; Symbolwahrscheinlichkeiten&nbsp; $p_μ$&nbsp; vollständig beschrieben.&nbsp; Allgemein gilt:
+*Die Nachrichtenquelle wird durch&nbsp; $M = 4$&nbsp; Symbolwahrscheinlichkeiten&nbsp; $p_μ$&nbsp; vollständig beschrieben.&nbsp; Allgemein gilt:
 :$$\sum_{\mu = 1}^M \hspace{0.1cm}p_{\mu}  = 1 \hspace{0.05cm}.$$
 *Die Nachrichtenquelle sei gedächtnislos, das heißt, die einzelnen Folgenelemente seien&nbsp; [[Stochastische_Signaltheorie/Statistische_Abhängigkeit_und_Unabhängigkeit#Allgemeine_Definition_von_statistischer_Abh.C3.A4ngigkeit|statistisch voneinander unabhängig]]:
@@ Zeile 61: / Zeile 61: @@
 Bei kleinerem&nbsp; $N$&nbsp; kann es durchaus zu Abweichungen kommen, wie die nebenstehende Tabelle (Ergebnis einer Simulation) zeigt.
-*In der Grafik ist oben eine beispielhafte Folge mit&nbsp; $N = 100$&nbsp; Symbolen angegeben.
+*In der oberen Grafik ist eine beispielhafte Folge mit&nbsp; $N = 100$&nbsp; Symbolen angegeben.
 *Aufgrund der Mengenelemente&nbsp; $\rm A$,&nbsp; $\rm B$,&nbsp; $\rm C$&nbsp; und&nbsp; $\rm D$&nbsp; können keine Mittelwerte angegeben werden.
@@ Zeile 77: / Zeile 77: @@
-==Entscheidungsgehalt – Nachrichtengehalt==
+==Entscheidungsgehalt einer diskreten Nachrichtenquelle==
 <br>
 [https://de.wikipedia.org/wiki/Claude_Shannon Claude Elwood Shannon]&nbsp; definierte 1948 im Standardwerk der Informationstheorie&nbsp; [Sha48]<ref name='Sha48'>Shannon, C.E.: A Mathematical Theory of Communication. In: Bell Syst. Techn. J. 27 (1948), S. 379-423 und S. 623-656.</ref>&nbsp; den Informationsbegriff als „Abnahme der Ungewissheit über das Eintreten eines statistischen Ereignisses”.
@@ Zeile 85: / Zeile 85: @@
 Unter dieser Annahme gilt:
 *Ist&nbsp; $M = 1$, so wird jeder einzelne Versuch das gleiche Ergebnis liefern und demzufolge besteht keine Unsicherheit hinsichtlich des Ausgangs.&nbsp; Wird uns das Versuchsergebnis mitgeteilt, so haben wir dadurch natürlich auch keinen Informationsgewinn.
-*Dagegen erfährt ein Beobachter bei einem Experiment mit&nbsp; $M = 2$, zum Beispiel dem „Münzwurf” mit der Ereignismenge&nbsp; $\big \{\rm \boldsymbol{\rm  Z}(ahl), \rm \boldsymbol{\rm  W}(app) \big \}$&nbsp; und den Wahrscheinlichkeiten&nbsp; $p_{\rm Z} = p_{\rm W} = 0.5$, durchaus einen Informationsgewinn.&nbsp; Die Unsicherheit hinsichtlich&nbsp; $\rm Z$ &nbsp;bzw.&nbsp; $\rm W$&nbsp; wird aufgelöst.
+*Dagegen erfährt ein Beobachter bei einem Experiment mit&nbsp; $M = 2$, zum Beispiel dem „Münzwurf” mit der Ereignismenge&nbsp; $\big \{\rm \boldsymbol{\rm  Z}(ahl), \rm \boldsymbol{\rm  W}(app) \big \}$&nbsp; und den Wahrscheinlichkeiten&nbsp; $p_{\rm Z} = p_{\rm W} = 0.5$&nbsp; durchaus einen Informationsgewinn.&nbsp; Die Unsicherheit hinsichtlich&nbsp; $\rm Z$ &nbsp;bzw.&nbsp; $\rm W$&nbsp; wird aufgelöst.
 *Beim Experiment „Würfeln”&nbsp; $(M = 6)$&nbsp; und noch mehr beim Roulette&nbsp;  $(M = 37)$&nbsp; ist die gewonnene Information für den Beobachter noch deutlich größer als beim „Münzwurf”, wenn er erfährt, welche Zahl gewürfelt bzw. welche Kugel gefallen ist.
 *Schließlich sollte noch berücksichtigt werden, dass das Experiment&nbsp; „Dreifacher Münzwurf”&nbsp; mit den&nbsp; $M = 8$&nbsp; möglichen Ergebnissen&nbsp; $\rm ZZZ$,&nbsp; $\rm ZZW$,&nbsp; $\rm ZWZ$,&nbsp; $\rm ZWW$,&nbsp; $\rm WZZ$,&nbsp; $\rm WZW$,&nbsp; $\rm WWZ$,&nbsp; $\rm WWW$&nbsp; die dreifache Information liefert wie der einfache Münzwurf&nbsp; $(M = 2)$.
@@ Zeile 93: / Zeile 93: @@
 {{BlaueBox|TEXT=
-$\text{Definition:}$&nbsp; Der&nbsp; '''Entscheidungsgehalt'''&nbsp; einer Nachrichtenquelle hängt nur vom Symbolumfang&nbsp; $M$&nbsp; ab und ergibt sich zu
+$\text{Definition:}$&nbsp; Der&nbsp; '''Entscheidungsgehalt'''&nbsp; einer diskreten Nachrichtenquelle hängt nur vom Symbolumfang&nbsp; $M$&nbsp; ab und ergibt sich zu
 :$$H_0 = {\rm log}\hspace{0.1cm}M = {\rm log}_2\hspace{0.1cm}M \hspace{0.15cm} {\rm (in \ &rdquo;bit&rdquo;)}
@@ Zeile 99: / Zeile 99: @@
 = {\rm lg}\hspace{0.1cm}M \hspace{0.15cm}\text {(in "Hartley")}\hspace{0.05cm}.$$
-*Gebräuchlich ist hierfür auch die Bezeichnung&nbsp; ''Nachrichtengehalt''.
+*Gebräuchlich ist hierfür in der deutschsprachigen Literatur auch die Bezeichnung&nbsp; &raquo;Nachrichtengehalt&laquo;.
 *Da&nbsp; $H_0$&nbsp; gleichzeitig den Maximalwert der&nbsp; [[Informationstheorie/Gedächtnislose_Nachrichtenquellen#Informationsgehalt_und_Entropie|Entropie]]&nbsp; $H$&nbsp; angibt, wird in unserem Tutorial teilweise auch&nbsp; $H_\text{max}$&nbsp; als Kurzzeichen verwendet. }}
@@ Zeile 111: / Zeile 111: @@
 {\rm log}\hspace{0.1cm}M^k = k \cdot {\rm log}\hspace{0.1cm}M \hspace{0.05cm}.$$
-*Meist verwenden wir den Logarithmus zur Basis&nbsp; $2$ &nbsp; ⇒ &nbsp; ''Logarithmus dualis''&nbsp; $\rm (ld)$, wobei dann die Pseudoeinheit „bit” – genauer:&nbsp; „bit/Symbol” – hinzugefügt wird:
+*Meist verwenden wir den Logarithmus zur Basis&nbsp; $2$ &nbsp; ⇒ &nbsp; &raquo;Logarithmus dualis&laquo;&nbsp; $\rm (ld)$, wobei dann die Pseudoeinheit „bit” – genauer:&nbsp; „bit/Symbol” – hinzugefügt wird:
 :$${\rm ld}\hspace{0.1cm}M = {\rm log_2}\hspace{0.1cm}M = \frac{{\rm lg}\hspace{0.1cm}M}{{\rm lg}\hspace{0.1cm}2}

@@ Zeile 8: / Zeile 8: @@
 == # ÜBERBLICK ZUM ERSTEN HAUPTKAPITEL # ==
 <br>
-Dieses erste Kapitel beschreibt die Berechnung und die Bedeutung der Entropie.&nbsp; Diese ist entsprechend der Shannonshen Informationsdefinition ein Maß für die mittlere Unsicherheit über den Ausgang eines statistischen Ereignisses oder die Unsicherheit bei der Messung einer stochastischen Größe.&nbsp; Etwas salopp ausgedrückt quantifiziert die Entropie einer Zufallsgröße deren „Zufälligkeit”.
+Dieses erste Kapitel beschreibt die Berechnung und die Bedeutung der Entropie.&nbsp; Diese ist entsprechend der Shannonschen Informationsdefinition ein Maß für die mittlere Unsicherheit über den Ausgang eines statistischen Ereignisses oder die Unsicherheit bei der Messung einer stochastischen Größe.&nbsp; Etwas salopp ausgedrückt quantifiziert die Entropie einer Zufallsgröße deren „Zufälligkeit”.
 Im Einzelnen werden behandelt:
-*der ''Entscheidungsgehalt''&nbsp; und die ''Entropie''&nbsp; einer gedächtnislosen Nachrichtenquelle,
+*der&nbsp; ''Entscheidungsgehalt''&nbsp; und die&nbsp; ''Entropie''&nbsp; einer gedächtnislosen Nachrichtenquelle,
-*die ''binäre Entropiefunktion''&nbsp; und deren Anwendung auf ''nichtbinäre Quellen'',
+*die&nbsp; ''binäre Entropiefunktion''&nbsp; und deren Anwendung auf&nbsp; ''nichtbinäre Quellen'',
-*die Entropieberechnung bei ''gedächtnisbehafteten Quellen''&nbsp; und geeignete Näherungen,
+*die Entropieberechnung bei&nbsp; ''gedächtnisbehafteten Quellen''&nbsp; und geeignete Näherungen,
-*die Besonderheiten von ''Markovquellen''&nbsp; hinsichtlich der Entropieberechnung,
+*die Besonderheiten von&nbsp; ''Markovquellen''&nbsp; hinsichtlich der Entropieberechnung,
-*die Vorgehensweise bei Quellen mit großem Symbolumfang, zum Beispiel ''natürliche Texte'',
+*die Vorgehensweise bei Quellen mit großem Symbolumfang, zum Beispiel bei&nbsp; ''natürlichen Texten'',
-*die ''Entropieabschätzungen''&nbsp; nach Shannon und Küpfmüller.
+*die&nbsp; ''Entropieabschätzungen''&nbsp; nach Shannon und Küpfmüller.

@@ Zeile 179: / Zeile 179: @@
 Man nennt die Funktion&nbsp; $H_\text{bin}(p)$&nbsp; die&nbsp; '''binäre Entropiefunktion'''.&nbsp; Die Entropie einer Quelle mit größerem Symbolumfang&nbsp; $M$&nbsp; lässt sich häufig unter Verwendung von&nbsp; $H_\text{bin}(p)$&nbsp; ausdrücken.
 Die Grafik zeigt die binäre Entropiefunktion für die Werte&nbsp; $0 ≤ p ≤ 1$&nbsp; der Symbolwahrscheinlichkeit von&nbsp; $\rm A$&nbsp; $($oder auch von&nbsp; $\rm B)$.&nbsp; Man erkennt:
@@ Zeile 187: / Zeile 189: @@
 *Für&nbsp; $p = 0$&nbsp; ergibt sich&nbsp; $H = 0$, da hier die Symbolfolge &nbsp;$\rm B \ B \ B \text{...}$&nbsp; mit Sicherheit vorhergesagt werden kann.&nbsp; Eigentlich ist nun der Symbolumfang nur noch&nbsp; $M = 1$.&nbsp; Gleiches gilt für&nbsp; $p = 1$ &nbsp; &rArr; &nbsp; Symbolfolge &nbsp;$\rm A \ A \ A \text{...}$.
 *$H_\text{bin}(p)$&nbsp; ist stets eine&nbsp; ''konkave Funktion'', da die zweite Ableitung nach dem Parameter&nbsp; $p$&nbsp; für alle Werte von&nbsp; $p$&nbsp; negativ ist:
-:$$\frac{{\rm d}^2H_{\rm bin} (p)}{{\rm d}\,p^2} =  \frac{-1}{{\rm ln}(2) \cdot p \cdot (1-p)}< 0
+:$$\frac{ {\rm d}^2H_{\rm bin} (p)}{ {\rm d}\,p^2} =  \frac{- 1}{ {\rm ln}(2) \cdot p \cdot (1-p)}< 0
-\hspace{0.05cm}.$$
+\hspace{0.05cm}.$$}}
 ==Nachrichtenquellen mit größerem Symbolumfang==
 <br>
-Im [[Informationstheorie/Gedächtnislose_Nachrichtenquellen#Modell_und_Voraussetzungen|ersten Abschnitt]] dieses Kapitels haben wir eine quaternäre Nachrichtenquelle $(M = 4)$ mit den Symbolwahrscheinlichkeiten $p_{\rm A} = 0.4$, &nbsp; $p_{\rm B} = 0.3$, &nbsp; $p_{\rm C} = 0.2$ &nbsp; und&nbsp;  $ p_{\rm D} = 0.1$ betrachtet. Diese Quelle besitzt die folgende Entropie:
+Im&nbsp; [[Informationstheorie/Gedächtnislose_Nachrichtenquellen#Modell_und_Voraussetzungen|ersten Abschnitt]]&nbsp; dieses Kapitels haben wir eine quaternäre Nachrichtenquelle&nbsp; $(M = 4)$&nbsp; mit den Symbolwahrscheinlichkeiten&nbsp; $p_{\rm A} = 0.4$, &nbsp; $p_{\rm B} = 0.3$, &nbsp; $p_{\rm C} = 0.2$ &nbsp; und&nbsp;  $ p_{\rm D} = 0.1$&nbsp; betrachtet.&nbsp; Diese Quelle besitzt die folgende Entropie:
 :$$H_{\rm quat} = 0.4 \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{0.4} + 0.3 \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{0.3} + 0.2 \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{0.2}+ 0.1 \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{0.1}.$$
-Oft ist zur zahlenmäßigen Berechnung der Umweg über den Zehnerlogarithmus $\lg \ x = {\rm log}_{10} \ x$ sinnvoll, da der ''Logarithmus dualis'' $ {\rm log}_2 \ x$ meist auf Taschenrechnern nicht zu finden ist.
+Oft ist zur zahlenmäßigen Berechnung der Umweg über den Zehnerlogarithmus&nbsp; $\lg \ x = {\rm log}_{10} \ x$&nbsp; sinnvoll, da der ''Logarithmus dualis''&nbsp; $ {\rm log}_2 \ x$&nbsp; meist auf Taschenrechnern nicht zu finden ist.
 :$$H_{\rm quat}=\frac{1}{{\rm lg}\hspace{0.1cm}2} \cdot \left [ 0.4 \cdot {\rm lg}\hspace{0.1cm}\frac{1}{0.4} + 0.3 \cdot {\rm lg}\hspace{0.1cm}\frac{1}{0.3} + 0.2 \cdot {\rm lg}\hspace{0.1cm}\frac{1}{0.2}+ 0.1 \cdot {\rm lg}\hspace{0.1cm}\frac{1}{0.1} \right ] = 1.845\,{\rm bit}
 \hspace{0.05cm}.$$
-Bestehen zwischen den einzelnen Symbolwahrscheinlichkeiten Symmetrien wie im Beispiel
+{{GraueBox|TEXT=
+$\text{Beispiel 3:}$&nbsp;
 [[Datei:Inf_T_1_1_S5_vers2.png|frame|Entropie von Binärquelle und Quaternärquelle]]
-:$$p_{\rm A} = p_{\rm D} = p \hspace{0.05cm},\hspace{0.4cm}p_{\rm B} = p_{\rm C} = 0.5-p \hspace{0.05cm},\hspace{0.3cm}{\rm mit} \hspace{0.15cm}0 \le p \le 0.5 \hspace{0.05cm},$$
+:$$p_{\rm A} = p_{\rm D} = p \hspace{0.05cm},\hspace{0.4cm}p_{\rm B} = p_{\rm C} = 0.5 - p \hspace{0.05cm},\hspace{0.3cm}{\rm mit} \hspace{0.15cm}0 \le p \le 0.5 \hspace{0.05cm}.$$
-so kann auch hier zur Entropieberechnung auf die binäre Entropiefunktion zurückgegriffen werden:
+In diesem Fall kann zur Entropieberechnung auf die binäre Entropiefunktion zurückgegriffen werden:
-:$$H_{\rm quat} =  2 \cdot p \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm}} + 2 \cdot (0.5-p) \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{0.5-p}$$
+:$$H_{\rm quat} =  2 \cdot p \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm} } + 2 \cdot (0.5-p) \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{0.5-p}$$
 :$$\Rightarrow \hspace{0.3cm} H_{\rm quat} =   1 + H_{\rm bin}(2p) \hspace{0.05cm}.$$
-Die Grafik zeigt  abhängig von $p$
+Die Grafik zeigt  abhängig von&nbsp; $p$
 *den Entropieverlauf der Quaternärquelle (blau)
-*im Vergleich zur Binärquelle (rot).
+*im Vergleich zum Entropieverlauf der Binärquelle (rot).
-Für die Quaternärquelle ist nur der Abszissenbereich $0 ≤ p ≤ 0.5$ zulässig.
+Für die Quaternärquelle ist nur der Abszissen&nbsp;  $0 ≤ p ≤ 0.5$&nbsp; zulässig.
 : &nbsp;   &nbsp; '''(1)''' &nbsp; Entropie: &nbsp; $H = 1 + H_{\rm bin} (2p) =1 + H_{\rm bin} (0.2) = 1.722,$
@@ Zeile 229: / Zeile 233: @@
 : &nbsp;   &nbsp; '''(3)''' &nbsp; relative Redundanz: &nbsp; $r ={\rm \Delta }H/({\rm log_2}\hspace{0.1cm} M) = 0.139\hspace{0.05cm}.$
-*Die Redundanz  der Quaternärquelle mit $p = 0.1$ ist gleich $ΔH = 0.278 \; \rm bit/Symbol$ und damit genau so groß wie die Redundanz der Binärquelle mit $p = 0.2$.
+*Die Redundanz  der Quaternärquelle mit&nbsp; $p = 0.1$&nbsp; ist gleich&nbsp; $ΔH = 0.278 \; \rm bit/Symbol$&nbsp; und damit genau so groß wie die Redundanz der Binärquelle mit&nbsp; $p = 0.2$.}}

@@ Zeile 170: / Zeile 170: @@
 ==Binäre Entropiefunktion  ==
 <br>
-Wir beschränken uns zunächst auf den Sonderfall $M = 2$ und betrachten eine binäre Quelle, die die beiden Symbole $\rm A$und $\rm B$ abgibt. Die Auftrittwahrscheinlichkeiten seien $p_{\rm A} = p$ und $p_{\rm B} = 1 – p$.
+Wir beschränken uns zunächst auf den Sonderfall&nbsp; $M = 2$&nbsp; und betrachten eine binäre Quelle, die die beiden Symbole&nbsp; $\rm A$&nbsp; und&nbsp; $\rm B$&nbsp; abgibt.&nbsp; Die Auftrittwahrscheinlichkeiten seien &nbsp; $p_{\rm A} = p$&nbsp; und&nbsp; $p_{\rm B} = 1 – p$.
 Für die Entropie dieser Binärquelle gilt:
@@ Zeile 177: / Zeile 177: @@
 \hspace{0.05cm}.$$
-Man nennt diese Funktion $H_\text{bin}(p)$ die '''binäre Entropiefunktion'''. Die Entropie einer Quelle mit größerem Symbolumfang $M$ lässt sich häufig unter Verwendung von $H_\text{bin}(p)$ ausdrücken.
+Man nennt die Funktion&nbsp; $H_\text{bin}(p)$&nbsp; die&nbsp; '''binäre Entropiefunktion'''.&nbsp; Die Entropie einer Quelle mit größerem Symbolumfang&nbsp; $M$&nbsp; lässt sich häufig unter Verwendung von&nbsp; $H_\text{bin}(p)$&nbsp; ausdrücken.
-Die Grafik zeigt die Funktion $H_\text{bin}(p)$ für die Werte $0 ≤ p ≤ 1$ der Symbolwahrscheinlichkeit von $\rm A$ (oder auch von $\rm B$). Man erkennt:
+Die Grafik zeigt die binäre Entropiefunktion für die Werte&nbsp; $0 ≤ p ≤ 1$&nbsp; der Symbolwahrscheinlichkeit von&nbsp; $\rm A$&nbsp; $($oder auch von&nbsp; $\rm B)$.&nbsp; Man erkennt:
-[[Datei:Inf_T_1_1_S4_vers2.png|frame|Binäre Entropiefunktion als Funktion von $p$|right]]
+[[Datei:Inf_T_1_1_S4_vers2.png|frame|Binäre Entropiefunktion als Funktion von&nbsp; $p$|right]]
-*Der Maximalwert $H_\text{max} = 1\; \rm  bit$ ergibt sich für $p = 0.5$, also für gleichwahrscheinliche Binärsymbole. Dann liefern $\rm A$ und $\rm B$ jeweils den gleichen Beitrag zur Entropie.
+*Der Maximalwert&nbsp; $H_\text{max} = 1\; \rm  bit$&nbsp; ergibt sich für&nbsp; $p = 0.5$, also für gleichwahrscheinliche Binärsymbole.&nbsp; Dann liefern&nbsp; $\rm A$&nbsp; und&nbsp; $\rm B$&nbsp; jeweils den gleichen Beitrag zur Entropie.
-* $H_\text{bin}(p)$ ist symmetrisch um $p = 0.5$. Eine Quelle mit $p_{\rm A} = 0.1$ und $p_{\rm B} = 0.9$ hat die gleiche Entropie  $H = 0.469 \; \rm   bit$ wie eine Quelle mit $p_{\rm A} = 0.9$ und $p_{\rm B} = 0.1$.
+* $H_\text{bin}(p)$&nbsp; ist symmetrisch um&nbsp; $p = 0.5$.&nbsp; Eine Quelle mit&nbsp; $p_{\rm A} = 0.1$&nbsp; und&nbsp; $p_{\rm B} = 0.9$&nbsp; hat die gleiche Entropie&nbsp;  $H = 0.469 \; \rm   bit$&nbsp; wie eine Quelle mit&nbsp; $p_{\rm A} = 0.9$&nbsp; und&nbsp; $p_{\rm B} = 0.1$.
-*Die Differenz $ΔH = H_\text{max} - H$ gibt die ''Redundanz'' der Quelle an und $r = ΔH/H_\text{max}$ die ''relative Redundanz''. Im Beispiel ergeben sich $ΔH = 0.531\; \rm  bit$ bzw. $r = 53.1 \rm \%$.
+*Die Differenz&nbsp; $ΔH = H_\text{max} - H$ gibt&nbsp; die&nbsp; ''Redundanz''&nbsp; der Quelle an und&nbsp; $r = ΔH/H_\text{max}$&nbsp; die&nbsp; ''relative Redundanz''.&nbsp; Im Beispiel ergeben sich&nbsp; $ΔH = 0.531\; \rm  bit$&nbsp; bzw.&nbsp; $r = 53.1 \rm \%$.
-*Für $p = 0$ ergibt sich $H = 0$, da hier die Symbolfolge &nbsp;$\rm B \ B \ B \text{...}$&nbsp; mit Sicherheit vorhergesagt werden kann. Eigentlich ist nun der Symbolumfang nur noch $M = 1$. Gleiches gilt für $p = 1$, also für die Symbolfolge &nbsp;$\rm A \ A A \text{...}$&nbsp;
+*Für&nbsp; $p = 0$&nbsp; ergibt sich&nbsp; $H = 0$, da hier die Symbolfolge &nbsp;$\rm B \ B \ B \text{...}$&nbsp; mit Sicherheit vorhergesagt werden kann.&nbsp; Eigentlich ist nun der Symbolumfang nur noch&nbsp; $M = 1$.&nbsp; Gleiches gilt für&nbsp; $p = 1$ &nbsp; &rArr; &nbsp; Symbolfolge &nbsp;$\rm A \ A \ A \text{...}$.
-*$H_\text{bin}(p)$ ist stets ''konkav'', da die zweite Ableitung nach dem Parameter $p$&nbsp; für alle Werte von $p$&nbsp; negativ ist:
+*$H_\text{bin}(p)$&nbsp; ist stets eine&nbsp; ''konkave Funktion'', da die zweite Ableitung nach dem Parameter&nbsp; $p$&nbsp; für alle Werte von&nbsp; $p$&nbsp; negativ ist:
 :$$\frac{{\rm d}^2H_{\rm bin} (p)}{{\rm d}\,p^2} =  \frac{-1}{{\rm ln}(2) \cdot p \cdot (1-p)}< 0
 \hspace{0.05cm}.$$

@@ Zeile 62: / Zeile 62: @@
 Bei kleinerem $N$ kann es aber durchaus zu Abweichungen kommen, wie die nebenstehende Tabelle (Ergebnis einer Simulation) zeigt.
-Eine beispielhafte Folge mit $N = 100$ Symbolen ist ist in der oberen Grafik angegeben. Aufgrund der Mengenelemente $\rm A$, $\rm B$, $\rm C$ und $\rm D$ können keine Mittelwerte angegeben werden.
+*Eine beispielhafte Folge mit $N = 100$ Symbolen ist in der Grafik oben angegeben.
 Ersetzt man aber die Symbole durch Zahlenwerte, zum Beispiel $\rm A  \Rightarrow  1$, &nbsp; $\rm B  \Rightarrow  2$, &nbsp; $\rm C  \Rightarrow  3$, &nbsp; $\rm D  \Rightarrow  4$, so ergeben sich <br>entsprechend Zeitmittelung &nbsp; &rArr; &nbsp; überstreichende Linie &nbsp; &nbsp; bzw. &nbsp; &nbsp; Scharmittelung &nbsp; &rArr; &nbsp; Erwartungswertbildung

@@ Zeile 23: / Zeile 23: @@
 Weitere Informationen zum Thema sowie Aufgaben, Simulationen und Programmierübungen finden Sie im Versuch &bdquo;Wertdiskrete Informationstheorie&rdquo; des Praktikums „Simulation Digitaler Übertragungssysteme ”. Diese (ehemalige) LNT-Lehrveranstaltung an der TU München basiert auf
-*dem Windows-Programm [http://www.lntwww.de/downloads/Sonstiges/Programme/WDIT.zip WDIT] &nbsp; &rArr; &nbsp; der Link verweist auf die ZIP-Version des Programms; und
+*dem Windows-Programm [http://www.lntwww.de/downloads/Sonstiges/Programme/WDIT.zip WDIT] &nbsp; &rArr; &nbsp; der Link verweist auf die ZIP-Version des Programms und
 *der zugehörigen [http://www.lntwww.de/downloads/Sonstiges/Texte/Wertdiskrete_Informationstheorie.pdf Praktikumsanleitung]  &nbsp; &rArr; &nbsp; der Link verweist auf die PDF-Version.