Informationstheorie/Nachrichtenquellen mit Gedächtnis - Versionsgeschichte

Guenter am 18. Juni 2021 um 15:36 Uhr

2021-06-18T15:36:40Z

Guenter am 17. Juni 2021 um 12:28 Uhr

2021-06-17T12:28:23Z

Guenter am 17. Juni 2021 um 10:14 Uhr

2021-06-17T10:14:07Z

Guenter am 13. Dezember 2019 um 11:15 Uhr

2019-12-13T11:15:16Z

Guenter am 13. Dezember 2019 um 11:03 Uhr

2019-12-13T11:03:13Z

Änderungen zeigen

Guenter am 13. Dezember 2019 um 10:27 Uhr

2019-12-13T10:27:07Z

Guenter am 13. Dezember 2019 um 09:47 Uhr

2019-12-13T09:47:36Z

Guenter am 13. Dezember 2019 um 09:29 Uhr

2019-12-13T09:29:08Z

Änderungen zeigen

Guenter am 12. Dezember 2019 um 16:55 Uhr

2019-12-12T16:55:09Z

Guenter am 18. September 2018 um 15:16 Uhr

2018-09-18T15:16:21Z

@@ Zeile 253: / Zeile 253: @@
 Wir betrachten drei binäre symmetrische Markovquellen, die sich durch die Zahlenwerte der symmetrischen Übergangswahrscheinlichkeiten&nbsp; $p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}B} } = p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}A} }$&nbsp; unterscheiden.&nbsp; Für die  Symbolwahrscheinlichkeiten gilt somit&nbsp;  $p_{\rm A} = p_{\rm B}= 0.5$, und die  anderen Übergangswahrscheinlichkeiten haben dann die Werte
-[[Datei:P_ID2242__Inf_T_1_2_S5b_neu.png|right|frame|Drei Beispiele binärer Markovquellen]]
+[[Datei:P_ID2242__Inf_T_1_2_S5b_neu.png|right|frame|Drei Beispiele binärer Markovquellen mit&nbsp; $p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}B} } = p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}A} }$]]
 :$$p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}A} } = 1 - p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}A} } =
 p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}B} }.$$
@@ Zeile 350: / Zeile 350: @@
 *eine quaternäre Markovquelle&nbsp; $\rm MQ4$&nbsp; $(M = 4$,&nbsp; rote Farbgebung$)$.
 <br clear=all>
-In&nbsp; [[Aufgaben:1.6_Nichtbinäre_Markovquellen|Aufgabe 1.6]]&nbsp; werden die Entropienäherungen&nbsp; $H_k$&nbsp; und die  Quellenentropie&nbsp; $H$&nbsp; als der Grenzwert von&nbsp; $H_k$&nbsp; für&nbsp; $k \to \infty$&nbsp; berechnet.&nbsp; Die Ergebnisse sind in der folgenden Grafik zusammengestellt.&nbsp; Alle dort angegebenen Entropien haben die Einheit „bit/Symbol”.
+In&nbsp; [[Aufgaben:1.6_Nichtbinäre_Markovquellen|Aufgabe 1.6]]&nbsp; werden für diesen Fall die Entropienäherungen&nbsp; $H_k$&nbsp; und die  Quellenentropie&nbsp; $H$&nbsp; als der Grenzwert von&nbsp; $H_k$&nbsp; für&nbsp; $k \to \infty$&nbsp; berechnet.&nbsp; Die Ergebnisse sind in der folgenden Grafik zusammengestellt.&nbsp; Alle dort angegebenen Entropien haben die Einheit „bit/Symbol”.
-[[Datei:P_ID2244__Inf_T_1_2_S6b_neu.png|center|frame|Entropien für&nbsp; $\rm MQ3$,&nbsp; $\rm MQ4$&nbsp; und den&nbsp; $\rm AMI–Code$]]
+[[Datei:P_ID2244__Inf_T_1_2_S6b_neu.png|right|frame|Entropien für&nbsp; $\rm MQ3$,&nbsp; $\rm MQ4$&nbsp; und den&nbsp; $\rm AMI–Code$]]
 Diese Ergebnisse können wie folgt interpretiert werden:
@@ Zeile 359: / Zeile 359: @@
 *Die beiden Modelle&nbsp; $\rm MQ3$&nbsp; und&nbsp; $\rm MQ4$&nbsp; entstanden bei dem Versuch, den&nbsp; [[Informationstheorie/Nachrichtenquellen_mit_Gedächtnis#Die_Entropie_des_AMI.E2.80.93Codes|AMI–Code]]&nbsp; informationstheoretisch durch Markovquellen zu beschreiben.&nbsp; Die Symbole&nbsp; $\rm M$,&nbsp; $\rm N$&nbsp; und&nbsp; $\rm P$&nbsp; stehen hierbei für „Minus”, „Null” und „Plus”.
 *Die Entropienäherungen&nbsp; $H_1$,&nbsp; $H_2$&nbsp; und&nbsp; $H_3$&nbsp; des AMI–Codes (grüne Markierungen) wurden in der&nbsp; [[Aufgaben:1.4_Entropienäherungen_Hk|Aufgabe A1.4]]&nbsp; berechnet.&nbsp; Auf die Berechnung von&nbsp; $H_4$,&nbsp; $H_5$, ... musste aus Aufwandsgründen verzichtet werden.&nbsp; Bekannt ist aber der Endwert von&nbsp; $H_k$&nbsp; für&nbsp; $k \to \infty$  &nbsp;  ⇒  &nbsp;  $H = 1.000$.
-*Man erkennt, dass das Markovmodell&nbsp; $\rm MQ3$&nbsp; bezüglich&nbsp; $H_0 = 1.585$,&nbsp; $H_1 = 1.500$&nbsp; und&nbsp; $H_2 = 1.375$&nbsp; genau gleiche Zahlenwerte liefert wie der AMI–Code.&nbsp; Dagegen unterscheiden sich&nbsp; $H_3$&nbsp; &rArr; &nbsp; $(1.333$&nbsp; statt&nbsp; $1.292)$&nbsp; und insbesondere der Endwert&nbsp; $H$&nbsp; &rArr; &nbsp; $(1.250$&nbsp; gegenüber&nbsp; $1.000)$.
+*Man erkennt, dass das Markovmodell&nbsp; $\rm MQ3$&nbsp; bezüglich&nbsp; $H_0 = 1.585$,&nbsp; $H_1 = 1.500$&nbsp; und&nbsp; $H_2 = 1.375$&nbsp; genau gleiche Zahlenwerte liefert wie der AMI–Code.&nbsp; Dagegen unterscheiden sich&nbsp; $H_3$&nbsp; &rArr; &nbsp; $(1.333$&nbsp; statt&nbsp; $1.292)$&nbsp; und insbesondere der Endwert&nbsp; $H$&nbsp; &rArr; &nbsp; $(1.250$&nbsp; gegenüber&nbsp; $1.000)$&nbsp; deutlich.
-*Das Modell&nbsp; $\rm MQ4$&nbsp; $(M = 4)$&nbsp; unterscheidet sich vom AMI–Code&nbsp; $(M = 3)$&nbsp; hinsichtlich des Entscheidungsgehaltes&nbsp; $H_0$&nbsp; und auch bezüglich aller Entropienäherungen&nbsp; $H_k$.&nbsp; Trotzdem ist $\rm MQ4$&nbsp; das geeignetere Modell für den AMI–Code, da der Endwert&nbsp; $H = 1.000$&nbsp; übereinstimmt.
+*Das Modell&nbsp; $\rm MQ4$&nbsp; $(M = 4)$&nbsp; unterscheidet sich vom AMI–Code&nbsp; $(M = 3)$&nbsp; hinsichtlich des Entscheidungsgehaltes&nbsp; $H_0$&nbsp; und auch bezüglich aller Entropienäherungen&nbsp; $H_k$.&nbsp; Trotzdem ist $\rm MQ4$&nbsp; das geeignetere Modell für den AMI–Code, da der Endwert&nbsp; $H = 1.000$&nbsp; mit diesem übereinstimmt.
 *Das Modell&nbsp; $\rm MQ3$&nbsp; liefert zu große Entropiewerte, da hier die Folgen&nbsp; $\rm PNP$&nbsp; und&nbsp; $\rm MNM$&nbsp; möglich sind, die beim AMI–Code nicht auftreten können.&nbsp; Bereits bei der Näherung&nbsp; $H_3$&nbsp; macht sich der Unterschied geringfügig bemerkbar, im Endwert&nbsp; $H$&nbsp; sogar deutlich&nbsp; $(1.25$&nbsp; statt&nbsp; $1)$.

@@ Zeile 126: / Zeile 126: @@
 *Die zweite Entropienäherung&nbsp; $H_2 = 0.906 \hspace{0.05cm} \rm bit/Symbol$&nbsp; ist aber deutlich größer als die Entropie&nbsp; $H$.
 *Zur Entropiebestimmung reicht die Näherung zweiter Ordnung nicht.&nbsp; Vielmehr muss man größere zusammenhängende Blöcke mit&nbsp; $k > 2$&nbsp; Symbolen betrachten.
-*Einen solchen Block bezeichnen wir im Folgenden als&nbsp; $k$–Tupel.}}
+*Einen solchen Block bezeichnen wir im Folgenden als&nbsp; $k$&ndash;Tupel.}}
-==Verallgemeinerung auf $k$–Tupel und Grenzübergang ==
+==Verallgemeinerung auf $k$&ndash;Tupel und Grenzübergang ==
 <br>
 Zur Abkürzung schreiben wir mit der Verbundwahrscheinlichkeit&nbsp; $p_i^{(k)}$&nbsp; eines&nbsp; $k$–Tupels allgemein:
@@ Zeile 136: / Zeile 136: @@
   \hspace{0.05cm}.$$
-Die Laufvariable&nbsp; $i$&nbsp; steht jeweils für eines der&nbsp; $M^k$ Tupel.&nbsp; Die vorher berechnete Näherung&nbsp; $H_2$&nbsp; ergibt sich mit&nbsp; $k = 2$.
+Die Laufvariable&nbsp; $i$&nbsp; steht jeweils für eines der&nbsp; $M^k$&nbsp; Tupel.&nbsp; Die vorher berechnete Näherung&nbsp; $H_2$&nbsp; ergibt sich mit&nbsp; $k = 2$.
 {{BlaueBox|TEXT=
@@ Zeile 143: / Zeile 143: @@
 :$$H = \lim_{k \rightarrow \infty }H_k \hspace{0.05cm}.$$
-Für die&nbsp; ''Entropienäherungen''&nbsp; $H_k$&nbsp; gelten folgende Größenrelationen&nbsp; $(H_0$ ist der Entscheidungsgehalt$)$:
+Für die&nbsp; '''Entropienäherungen'''&nbsp; $H_k$&nbsp; gelten folgende Größenrelationen&nbsp; $(H_0$ ist der Entscheidungsgehalt$)$:
 :$$H \le \text{...} \le H_k \le \text{...} \le H_2 \le H_1 \le H_0 \hspace{0.05cm}.$$}}
@@ Zeile 151: / Zeile 151: @@
 *Mit jeder weiteren Erhöhung von&nbsp; $k$&nbsp; um&nbsp; $1$&nbsp; verdoppelt sich die Anzahl der Summenterme.
 *Bei einer Quaternärquelle&nbsp; $(M = 4)$&nbsp; muss zur&nbsp; $H_{10}$–Bestimmung bereits über&nbsp; $4^{10} = 1\hspace{0.08cm}048\hspace{0.08cm}576$&nbsp; Summenterme gemittelt werden.
-*Berücksichtigt man, dass jedes dieser&nbsp; $4^{10} =2^{20} >10^6$&nbsp; $k$–Tupel bei Simulation/Zeitmittelung etwa&nbsp; $100$&nbsp; mal (statistischer Richtwert) vorkommen sollte, um ausreichende Simulationsgenauigkeit zu gewährleisten, so folgt daraus, dass die Folgenlänge größer als&nbsp; $N = 10^8$&nbsp; sein sollte.
+*Berücksichtigt man, dass jedes dieser&nbsp; $4^{10} =2^{20} >10^6$&nbsp; $k$–Tupel bei Simulation/Zeitmittelung etwa&nbsp; $100$&nbsp; mal (statistischer Richtwert) vorkommen sollte, um ausreichende Simulationsgenauigkeit zu gewährleisten, so folgt daraus, dass die Folgenlänge größer als&nbsp; $N = 10^8$&nbsp; sein müsste.
@@ Zeile 158: / Zeile 158: @@
 Wir betrachten eine alternierende Binärfolge &nbsp; ⇒ &nbsp; $〈 q_ν 〉 =\rm ABABABAB$ ... &nbsp;.&nbsp; Entsprechend gilt&nbsp; $H_0 = H_1 = 1 \hspace{0.1cm} \rm bit/Symbol$.
-In diesem Sonderfall muss zur Bestimmung der&nbsp; $H_k$–Näherung unabhängig von&nbsp; $k$&nbsp; stets nur über zwei Verbundwahrscheinlichkeiten gemittelt werden:
+In diesem Sonderfall muss zur Bestimmung der&nbsp; $H_k$&ndash;Näherung unabhängig von&nbsp; $k$&nbsp; stets nur über zwei Verbundwahrscheinlichkeiten gemittelt werden:
 * $k = 2$: &nbsp;&nbsp;   $p_{\rm AB} = p_{\rm BA} = 1/2$     &nbsp; &nbsp;       ⇒ &nbsp; &nbsp;  $H_2 =  1/2 \hspace{0.2cm} \rm bit/Symbol$,
 * $k = 3$:  &nbsp;&nbsp;   $p_{\rm ABA} = p_{\rm BAB} = 1/2$    &nbsp; &nbsp;    ⇒  &nbsp; &nbsp; $H_3 =  1/3 \hspace{0.2cm} \rm bit/Symbol$,
@@ Zeile 167: / Zeile 167: @@
 :$$H = \lim_{k \rightarrow \infty }{1}/{k} = 0 \hspace{0.05cm}.$$
-Das Ergebnis war zu erwarten, da die betrachtete Folge nur minimale Information besitzt, die sich im Entropie–Endwert&nbsp; $H$&nbsp; nicht auswirkt, nämlich:  <br> &nbsp; &nbsp; „Tritt&nbsp; $\rm A$&nbsp; zu den geraden oder den ungeraden Zeitpunkten auf?”
+Das Ergebnis war zu erwarten, da die betrachtete Folge nur minimale Information besitzt, die sich im Entropie–Endwert&nbsp; $H$&nbsp; nicht auswirkt, nämlich:  <br> &nbsp; &nbsp; „Tritt&nbsp; $\rm A$&nbsp; zu den geraden oder zu den ungeraden Zeitpunkten auf?”
 Man erkennt, dass&nbsp; $H_k$&nbsp; diesem Endwert&nbsp; $H = 0$&nbsp; nur sehr langsam näher kommt:&nbsp; Die zwanzigste Entropienäherung  liefert immer noch&nbsp; $H_{20} = 0.05 \hspace{0.05cm} \rm bit/Symbol$. }}
@@ Zeile 178: / Zeile 178: @@
 :$$H \le \text{...} \le H_3 \le H_2 \le H_1 \le H_0
   \hspace{0.05cm}.$$
-*Eine&nbsp; '''redundanzfreie Quelle'''&nbsp; liegt vor, falls alle&nbsp; $M$&nbsp; Symbole gleichwahrscheinlich sind und es keine statistischen Bindungen innerhalb der Folge gibt. <br>Für diese gilt&nbsp; $(r$&nbsp; bezeichnet hierbei die ''relative Redundanz'' $)$:
+*Eine&nbsp; '''redundanzfreie Quelle'''&nbsp; liegt vor, falls alle&nbsp; $M$&nbsp; Symbole gleichwahrscheinlich sind und es keine statistischen Bindungen innerhalb der Folge gibt. <br>Für diese gilt&nbsp; $(r$&nbsp; bezeichnet hierbei die relative Redundanz$)$:
 :$$H = H_0 = H_1 = H_2 = H_3 = \text{...}\hspace{0.5cm}
 \Rightarrow \hspace{0.5cm} r = \frac{H - H_0}{H_0}= 0 \hspace{0.05cm}.$$
@@ Zeile 186: / Zeile 186: @@
 :$$ H <\text{...} < H_3 < H_2 < H_1 \le H_0 \hspace{0.5cm}\Rightarrow \hspace{0.5cm} 0 < r = \frac{H_1 - H_0}{H_0}\le1 \hspace{0.05cm}.$$
 *Ist&nbsp; $H_2 < H_1$, dann gilt auch&nbsp; $H_3 < H_2$, &nbsp; $H_4 < H_3$, usw. &nbsp; &rArr; &nbsp; In der allgemeinen Gleichung ist also das&nbsp; „≤”–Zeichen durch das&nbsp; „<”–Zeichen zu ersetzen.
-*Sind die Symbole gleichwahrscheinlich, so gilt wieder&nbsp; $H_1 = H_0$, während bei nichtgleichwahrscheinlichen Symbolen&nbsp; $H_1 < H_0$&nbsp; zutrifft.}}
+*Sind die Symbole gleichwahrscheinlich, so gilt wieder&nbsp; $H_1 = H_0$, während bei nichtgleichwahrscheinlichen Symbolen&nbsp; $H_1 < H_0$&nbsp; weiterhin zutrifft.}}
 ==Die Entropie des AMI–Codes  ==
 <br>
 Im Kapitel&nbsp; [[Digitalsignalübertragung/Symbolweise_Codierung_mit_Pseudoternärcodes#Eigenschaften_des_AMI-Codes|Symbolweise Codierung mit Pseudoternärcodes]]&nbsp; des Buches „Digitalsignalübertragung” wird unter anderem der AMI–Pseudoternärcode behandelt.
 *Dieser wandelt die Binärfolge&nbsp; $〈 q_ν 〉$&nbsp; mit&nbsp; $q_ν ∈ \{ \rm L, \ H \}$&nbsp; in die Ternärfolge&nbsp; $〈 c_ν 〉$&nbsp; mit&nbsp; $q_ν ∈ \{ \rm M, \ N, \ P \}$.
-*Die Bezeichnungen der Quellensymbole stehen für&nbsp; $\rm L$ow&nbsp; und&nbsp; $\rm H$igh&nbsp; und die der Codesymbole für&nbsp; $\rm M$inus,&nbsp; $\rm N$ull&nbsp; und&nbsp; $\rm P$lus”.
+*Die Bezeichnungen der Quellensymbole stehen für&nbsp; $\rm L$(ow)&nbsp; und&nbsp; $\rm H$(igh)&nbsp; und die der Codesymbole für&nbsp; $\rm M$(inus),&nbsp; $\rm N$(ull)&nbsp; und&nbsp; $\rm P$(lus)”.
 Die Codierregel des AMI–Codes (diese Kurzform steht für „Alternate Mark Inversion”) lautet:
 *Jedes Binärsymbol&nbsp; $q_ν =\rm L$&nbsp; wird durch das Codesymbol&nbsp; $c_ν =\rm N$&nbsp; dargestellt.
-*Dagegen wird&nbsp; $q_ν =\rm H$&nbsp; alternierend mit&nbsp; $c_ν =\rm P$&nbsp; und&nbsp; $c_ν =\rm M$&nbsp; codiert &nbsp;  ⇒   &nbsp; Name „AMI”.
+*Dagegen wird&nbsp; $q_ν =\rm H$&nbsp; alternierend mit&nbsp; $c_ν =\rm P$&nbsp; und&nbsp; $c_ν =\rm M$&nbsp; codiert &nbsp;  ⇒   &nbsp; Name „Alternate Mark Inversion”.
+*Durch diese spezielle  Codierung wird Redundanz allein mit dem Ziel hinzugefügt, dass die Codefolge keinen Gleichsignalanteil beinhaltet.
 <br clear=all>
 Wir betrachten hier jedoch nicht die spektralen Eigenschaften des AMI–Codes, sondern interpretieren diesen Code informationstheoretisch:
@@ Zeile 222: / Zeile 221: @@
-Die&nbsp; [[Aufgaben:1.4_Entropienäherungen_für_den_AMI-Code|Aufgabe 1.4]]&nbsp; zeigt den beträchtlichen Aufwand zur Berechnung der Entropienäherung&nbsp; $H_3$.&nbsp; Zudem weicht&nbsp; $H_3$&nbsp; noch deutlich vom Endwert&nbsp; $H  = 1 \,{\rm bit/Symbol} $&nbsp; ab.&nbsp; Schneller kommt man zum Ergebnis, wenn man den AMI–Code durch eine Markovkette  beschreibt, wie im nächsten Abschnitt dargelegt.
+Die&nbsp; [[Aufgaben:1.4_Entropienäherungen_für_den_AMI-Code|Aufgabe 1.4]]&nbsp; zeigt den beträchtlichen Aufwand bereits zur Berechnung der Entropienäherung&nbsp; $H_3$.&nbsp; Zudem weicht&nbsp; $H_3$&nbsp; noch deutlich vom Endwert&nbsp; $H  = 1 \,{\rm bit/Symbol} $&nbsp; ab.&nbsp; Schneller kommt man zum Ergebnis, wenn man den AMI–Code durch eine Markovkette  beschreibt, wie im nächsten Abschnitt dargelegt.

@@ Zeile 45: / Zeile 45: @@
   \hspace{0.05cm}.$$
-*Daraus ist die&nbsp; ''Verbundentropie''&nbsp; eines Zweier–Tupels berechenbar:
+*Daraus ist die&nbsp; '''Verbundentropie'''&nbsp; eines Zweier–Tupels berechenbar:
-:$$H_2\hspace{0.05cm}' = \sum_{q_{\nu}\hspace{0.05cm} \in \hspace{0.05cm}\{ \hspace{0.05cm}q_{\mu}\hspace{0.01cm} \}} \sum_{q_{\nu+1}\hspace{0.05cm} \in \hspace{0.05cm}\{ \hspace{0.05cm} q_{\mu}\hspace{0.01cm} \}}\hspace{-0.1cm}{\rm Pr}(q_{\nu}\cap q_{\nu+1}) \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{{\rm Pr}(q_{\nu}\cap q_{\nu+1})} \hspace{0.4cm}({\rm Einheit\hspace{-0.1cm}: \hspace{0.1cm}bit/Zweiertupel})
+:$$H_2\hspace{0.05cm}' = \sum_{q_{\nu}\hspace{0.05cm} \in \hspace{0.05cm}\{ \hspace{0.05cm}q_{\mu}\hspace{0.01cm} \}}\hspace{0.1cm} \sum_{q_{\nu+1}\hspace{0.05cm} \in \hspace{0.05cm}\{ \hspace{0.05cm} q_{\mu}\hspace{0.01cm} \}}\hspace{-0.1cm}{\rm Pr}(q_{\nu}\cap q_{\nu+1}) \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{{\rm Pr}(q_{\nu}\cap q_{\nu+1})} \hspace{0.4cm}({\rm Einheit\hspace{-0.1cm}: \hspace{0.1cm}bit/Zweiertupel})
   \hspace{0.05cm}.$$
 :Der Index &bdquo;2&rdquo; symbolisiert, dass sich die so berechnete Entropie auf Zweiertupel bezieht.
+*Um den mittleren Informationsgehalt pro Symbol zu erhalten, muss&nbsp; $H_2\hspace{0.05cm}'$&nbsp; noch halbiert werden:
 :$$H_2 = {H_2\hspace{0.05cm}'}/{2}  \hspace{0.5cm}({\rm Einheit\hspace{-0.1cm}: \hspace{0.1cm}bit/Symbol})
   \hspace{0.05cm}.$$
-Um eine konsistente Nomenklatur zu erreichen, benennen wir nun die im Kapitel&nbsp; [[Informationstheorie/Gedächtnislose_Nachrichtenquellen#Modell_und_Voraussetzungen|Gedächtnislose Nachrichtenquellen]]&nbsp; definierte Entropie mit&nbsp; $H_1$:
+*Um eine konsistente Nomenklatur zu erreichen, benennen wir nun die im Kapitel&nbsp; [[Informationstheorie/Gedächtnislose_Nachrichtenquellen#Modell_und_Voraussetzungen|Gedächtnislose Nachrichtenquellen]]&nbsp; definierte Entropie mit&nbsp; $H_1$:
 :$$H_1 = \sum_{q_{\nu}\hspace{0.05cm} \in \hspace{0.05cm}\{ \hspace{0.05cm}q_{\mu}\hspace{0.01cm} \}} {\rm Pr}(q_{\nu}) \cdot {\rm log_2}\hspace{0.1cm}\frac {1}{{\rm Pr}(q_{\nu})} \hspace{0.5cm}({\rm Einheit\hspace{-0.1cm}: \hspace{0.1cm}bit/Symbol})
   \hspace{0.05cm}.$$
-Der Index &bdquo;1&rdquo; soll darauf hinweisen, dass&nbsp; $H_1$&nbsp; ausschließlich die Symbolwahrscheinlichkeiten berücksichtigt und nicht statistischen Bindungen zwischen Symbolen innerhalb der Folge.&nbsp; Mit dem Entscheidungsgehalt&nbsp; $H_0 = \log_2 \ M$&nbsp; ergibt sich dann folgende Größenbeziehung:
+*Der Index &bdquo;1&rdquo; soll darauf hinweisen, dass&nbsp; $H_1$&nbsp; ausschließlich die Symbolwahrscheinlichkeiten berücksichtigt und nicht statistischen Bindungen zwischen Symbolen innerhalb der Folge.&nbsp; Mit dem Entscheidungsgehalt&nbsp; $H_0 = \log_2 \ M$&nbsp; ergibt sich dann folgende Größenbeziehung:
 :$$H_0 \ge H_1 \ge H_2
   \hspace{0.05cm}.$$
-Bei statistischer Unabhängigkeit der Folgenelemente ist&nbsp; $H_2 = H_1$.
+*Bei statistischer Unabhängigkeit der Folgenelemente ist&nbsp; $H_2 = H_1$.
 Die bisherigen Gleichungen geben jeweils einen Scharmittelwert an.&nbsp; Die für die Berechnung von&nbsp; $H_1$&nbsp; und&nbsp; $H_2$&nbsp; benötigten Wahrscheinlichkeiten lassen sich aber auch als Zeitmittelwerte aus einer sehr langen Folge berechnen oder – etwas genauer ausgedrückt – durch die entsprechenden&nbsp; [[Stochastische_Signaltheorie/Wahrscheinlichkeit_und_relative_Häufigkeit#Bernoullisches_Gesetz_der_gro.C3.9Fen_Zahlen|relativen Häufigkeiten]]&nbsp; annähern.
@@ Zeile 74: / Zeile 74: @@
 Verdeutlichen wir uns nun die Berechnung der Entropienäherungen&nbsp; $H_1$&nbsp; und&nbsp; $H_2$&nbsp; an drei Beispielen.
 {{GraueBox|TEXT=
 $\text{Beispiel 2:}$&nbsp;
 Wir betrachten zunächst die Folge&nbsp; $〈 q_1$, ... , $q_{50} \rangle $&nbsp; gemäß der Grafik, wobei die Folgenelemente&nbsp; $q_ν$&nbsp; dem Alphabet $\rm \{A, \ B, \ C \}$ entstammen   &nbsp; ⇒  &nbsp; der Symbolumfang ist&nbsp; $M = 3$.
 Durch Zeitmittelung über die&nbsp; $50$&nbsp; Symbole erhält man die Symbolwahrscheinlichkeiten&nbsp; $p_{\rm A} ≈ 0.5$, &nbsp; $p_{\rm B} ≈ 0.3$ &nbsp;und&nbsp;  $p_{\rm C} ≈ 0.2$, womit man die Entropienäherung erster Ordnung berechnen kann:
@@ Zeile 100: / Zeile 100: @@
 {{GraueBox|TEXT=
 $\text{Beispiel 3:}$&nbsp;
-Nun betrachten wir eine&nbsp; ''gedächtnislose&nbsp; Binärquelle''&nbsp; mit gleichwahrscheinlichen Symbolen, das heißt es gelte&nbsp; $p_{\rm A} = p_{\rm B} = 1/2$.&nbsp; Die ersten zwanzig Folgeelemente lauten: &nbsp; $〈 q_ν 〉 =\rm BBAAABAABBBBBAAAABAB$ ...
+Nun betrachten wir eine&nbsp; '''gedächtnislose&nbsp; Binärquelle'''&nbsp; mit gleichwahrscheinlichen Symbolen, das heißt es gelte&nbsp; $p_{\rm A} = p_{\rm B} = 1/2$.&nbsp; Die ersten zwanzig Folgeelemente lauten: &nbsp; $〈 q_ν 〉 =\rm BBAAABAABBBBBAAAABAB$ ...
 *Aufgrund der gleichwahrscheinlichen Binärsymbole ist&nbsp; $H_1 = H_0 = 1 \hspace{0.05cm} \rm bit/Symbol$.
 *Die Verbundwahrscheinlichkeit&nbsp; $p_{\rm AB}$&nbsp; der Kombination&nbsp; $\rm AB$&nbsp; ist gleich&nbsp; $p_{\rm A} · p_{\rm B} = 1/4$.&nbsp; Ebenso gilt&nbsp; $p_{\rm AA} = p_{\rm BB} = p_{\rm BA} = 1/4$.
@@ Zeile 115: / Zeile 115: @@
 Die dritte hier betrachtete Folge ergibt sich aus  der Binärfolge von&nbsp; $\text{Beispiel 3}$&nbsp; durch Anwendung eines einfachen Wiederholungscodes:
 :$$〈 q_ν 〉 =\rm BbBbAaAaAaBbAaAaBbBb \text{...} $$
-*Die wiederholten Symbole sind durch entsprechende Kleinbuchstaben markiert.&nbsp; Es gilt trotzdem&nbsp; $M=2$.
+*Die wiederholten Symbole sind hier durch entsprechende Kleinbuchstaben markiert.&nbsp; Es gilt trotzdem&nbsp; $M=2$.
 *Aufgrund der gleichwahrscheinlichen Binärsymbole ergibt sich auch hier&nbsp;  $H_1 = H_0 = 1 \hspace{0.05cm} \rm bit/Symbol$.
 *Wie in&nbsp; [[Aufgaben:1.3_Entropienäherungen|Aufgabe 1.3]]&nbsp; gezeigt wird, gilt nun für die Verbundwahrscheinlichkeiten&nbsp; $p_{\rm AA}=p_{\rm BB} = 3/8$&nbsp; und&nbsp; $p_{\rm AB}=p_{\rm BA} = 1/8$.&nbsp; Daraus folgt:

@@ Zeile 247: / Zeile 247: @@
 Diese Gleichungen erlauben erste informationstheoretische Aussagen über die Markovprozesse:
 * Für&nbsp; $p_{\rm {A\hspace{0.01cm}|\hspace{0.01cm}B}} = p_{\rm {B\hspace{0.01cm}|\hspace{0.01cm}A}}$&nbsp; sind die Symbole gleichwahrscheinlich &nbsp; ⇒ &nbsp; $p_{\text{A}} = p_{\text{B}}= 0.5$.&nbsp; Die erste Entropienäherung liefert&nbsp; $H_1 = H_0 = 1 \hspace{0.05cm} \rm  bit/Symbol$, und zwar unabhängig von den tatsächlichen Werten der (bedingten) Übergangswahrscheinlichkeiten&nbsp; $p_{\text{A|B}}$&nbsp; &nbsp;bzw.&nbsp; $p_{\text{B|A}}$.
-*Die Quellenentropie&nbsp; $H$&nbsp; als der Grenzwert&nbsp; $($für&nbsp; $k \to \infty)$&nbsp; der&nbsp; [[Informationstheorie/Nachrichtenquellen_mit_Gedächtnis#Verallgemeinerung_auf_.7F.27.22.60UNIQ-MathJax108-QINU.60.22.27.7F.E2.80.93Tupel_und_Grenz.C3.BCbergang|Entropienäherung&nbsp; $k$–ter Ordnung]] &nbsp; &rArr; &nbsp; $H_k$&nbsp;   hängt aber sehr wohl von den tatsächlichen Werten von&nbsp; $p_{\text{A|B}}$ &nbsp;und&nbsp; $p_{\text{B|A}}$&nbsp; ab und nicht nur von ihrem Quotienten.&nbsp; Dies zeigt das folgende Beispiel.
+*Die Quellenentropie&nbsp; $H$&nbsp; als der Grenzwert&nbsp; $($für&nbsp; $k \to \infty)$&nbsp; der&nbsp; [[Informationstheorie/Nachrichtenquellen_mit_Gedächtnis#Verallgemeinerung_auf_.7F.27.22.60UNIQ-MathJax109-QINU.60.22.27.7F.E2.80.93Tupel_und_Grenz.C3.BCbergang|Entropienäherung&nbsp; $k$–ter Ordnung]] &nbsp; &rArr; &nbsp; $H_k$&nbsp;   hängt aber sehr wohl von den tatsächlichen Werten von&nbsp; $p_{\text{A|B}}$ &nbsp;und&nbsp; $p_{\text{B|A}}$&nbsp; ab und nicht nur von ihrem Quotienten.&nbsp; Dies zeigt das folgende Beispiel.

@@ Zeile 227: / Zeile 227: @@
 ==Binärquellen mit Markoveigenschaften  ==
 <br>
-[[Datei:Inf_T_1_2_S5_vers2.png|right|frame|Markovprozesse mit $M = 2$ Zuständen]]
+[[Datei:Inf_T_1_2_S5_vers2.png|right|frame|Markovprozesse mit&nbsp; $M = 2$&nbsp; Zuständen]]
-Folgen mit statistischen Bindungen zwischen den Folgenelementen (Symbolen) werden oft durch [[Stochastische_Signaltheorie/Markovketten|Markovprozesse]] modelliert, wobei wir uns hier auf Markovprozesse erster Ordnung beschränken. Zunächst betrachten wir einen binären Markovprozess $(M = 2)$ mit den Zuständen (Symbolen) $\rm A$ und $\rm B$.
+Folgen mit statistischen Bindungen zwischen den Folgenelementen (Symbolen) werden oft durch&nbsp; [[Stochastische_Signaltheorie/Markovketten|Markovprozesse]]&nbsp; modelliert, wobei wir uns hier auf Markovprozesse erster Ordnung beschränken.&nbsp; Zunächst betrachten wir einen binären Markovprozess&nbsp; $(M = 2)$&nbsp; mit den Zuständen (Symbolen)&nbsp; $\rm A$&nbsp; und&nbsp; $\rm B$.
-Rechts  sehen Sie das Übergangsdiagramm für einen binären Markovprozess erster Ordnung. Von den vier angegebenen Übertragungswahrscheinlichkeiten sind allerdings nur zwei frei wählbar, zum Beispiel
+Rechts  sehen Sie das Übergangsdiagramm für einen binären Markovprozess erster Ordnung.&nbsp; Von den vier angegebenen Übertragungswahrscheinlichkeiten sind allerdings nur zwei frei wählbar, zum Beispiel
-* $p_{\rm {A\hspace{0.01cm}|\hspace{0.01cm}B}} = \rm Pr(A\hspace{0.01cm}|\hspace{0.01cm}B)$ &nbsp;  ⇒  &nbsp; bedingte Wahrscheinlichkeit, dass $\rm A$ auf $\rm B$ folgt.
+* $p_{\rm {A\hspace{0.01cm}|\hspace{0.01cm}B}} = \rm Pr(A\hspace{0.01cm}|\hspace{0.01cm}B)$ &nbsp;  ⇒  &nbsp; bedingte Wahrscheinlichkeit, dass&nbsp; $\rm A$&nbsp; auf&nbsp; $\rm B$&nbsp; folgt.
-* $p_{\rm {B\hspace{0.01cm}|\hspace{0.01cm}A}} = \rm Pr(B\hspace{0.01cm}|\hspace{0.01cm}A)$   &nbsp;  ⇒  &nbsp;   bedingte Wahrscheinlichkeit, dass $\rm B$ auf $\rm A$ folgt.
+* $p_{\rm {B\hspace{0.01cm}|\hspace{0.01cm}A}} = \rm Pr(B\hspace{0.01cm}|\hspace{0.01cm}A)$   &nbsp;  ⇒  &nbsp;   bedingte Wahrscheinlichkeit, dass&nbsp; $\rm B$&nbsp; auf&nbsp; $\rm A$&nbsp; folgt.
-Für die beiden weiteren Übergangswahrscheinlichkeiten gilt dann $p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A} = 1- p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}$ &nbsp;und &nbsp; $p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}B} = 1- p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B}
+Für die beiden weiteren Übergangswahrscheinlichkeiten gilt dann&nbsp; $p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A} = 1- p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}$ &nbsp;und &nbsp; $p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}B} = 1- p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B}
   \hspace{0.05cm}.$
-Aufgrund der vorausgesetzten Eigenschaften [[Stochastische_Signaltheorie/Autokorrelationsfunktion_(AKF)#Station.C3.A4re_Zufallsprozesse|Stationarität]] und [[Stochastische_Signaltheorie/Autokorrelationsfunktion_(AKF)#Ergodische_Zufallsprozesse|Ergodizität]] gilt für die Zustands– bzw. Symbolwahrscheinlichkeiten:
+Aufgrund der vorausgesetzten Eigenschaften&nbsp; [[Stochastische_Signaltheorie/Autokorrelationsfunktion_(AKF)#Station.C3.A4re_Zufallsprozesse|Stationarität]]&nbsp; und&nbsp; [[Stochastische_Signaltheorie/Autokorrelationsfunktion_(AKF)#Ergodische_Zufallsprozesse|Ergodizität]]&nbsp; gilt für die Zustands– bzw. Symbolwahrscheinlichkeiten:
 :$$p_{\rm A} = {\rm Pr}({\rm A}) = \frac{p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B}}{p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B} + p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}}
-  \hspace{0.05cm}, \hspace{0.2cm}p_{\rm B} = {\rm Pr}({\rm B}) = \frac{p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}}{p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B} + p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}}
+  \hspace{0.05cm}, \hspace{0.5cm}p_{\rm B} = {\rm Pr}({\rm B}) = \frac{p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}}{p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B} + p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}}
   \hspace{0.05cm}.$$
-Diese Gleichungen erlauben erste informationstheoretische Aussagen über Markovprozesse:
+Diese Gleichungen erlauben erste informationstheoretische Aussagen über die Markovprozesse:
-* Für $p_{\rm {A\hspace{0.01cm}|\hspace{0.01cm}B}} = p_{\rm {B\hspace{0.01cm}|\hspace{0.01cm}A}}$ sind die Symbole gleichwahrscheinlich &nbsp; ⇒ &nbsp; $p_{\text{A}} = p_{\text{B}}= 0.5$. Die erste Entropienäherung liefert $H_1 = H_0 = 1 \hspace{0.05cm} \rm  bit/Symbol$, und zwar unabhängig von den tatsächlichen Werten der (bedingten) Übergangswahrscheinlichkeiten $p_{\text{A|B}}$ &nbsp;bzw.&nbsp; $p_{\text{B|A}}$.
+* Für&nbsp; $p_{\rm {A\hspace{0.01cm}|\hspace{0.01cm}B}} = p_{\rm {B\hspace{0.01cm}|\hspace{0.01cm}A}}$&nbsp; sind die Symbole gleichwahrscheinlich &nbsp; ⇒ &nbsp; $p_{\text{A}} = p_{\text{B}}= 0.5$.&nbsp; Die erste Entropienäherung liefert&nbsp; $H_1 = H_0 = 1 \hspace{0.05cm} \rm  bit/Symbol$, und zwar unabhängig von den tatsächlichen Werten der (bedingten) Übergangswahrscheinlichkeiten&nbsp; $p_{\text{A|B}}$&nbsp; &nbsp;bzw.&nbsp; $p_{\text{B|A}}$.
-*Die Quellenentropie $H$ als der Grenzwert (für $k \to \infty$) der [[Informationstheorie/Nachrichtenquellen_mit_Gedächtnis#Verallgemeinerung_auf_.7F.27.22.60UNIQ-MathJax108-QINU.60.22.27.7F.E2.80.93Tupel_und_Grenz.C3.BCbergang|Entropienäherung $k$–ter Ordnung]] &nbsp;&rArr; &nbsp; $H_k$   hängt aber sehr wohl von den tatsächlichen Werten von $p_{\text{A|B}}$ &nbsp;und&nbsp; $p_{\text{B|A}}$ ab und nicht nur von ihrem Quotienten. Dies zeigt das folgende Beispiel.
+*Die Quellenentropie&nbsp; $H$&nbsp; als der Grenzwert&nbsp; $($für&nbsp; $k \to \infty)$&nbsp; der&nbsp; [[Informationstheorie/Nachrichtenquellen_mit_Gedächtnis#Verallgemeinerung_auf_.7F.27.22.60UNIQ-MathJax108-QINU.60.22.27.7F.E2.80.93Tupel_und_Grenz.C3.BCbergang|Entropienäherung&nbsp; $k$–ter Ordnung]] &nbsp; &rArr; &nbsp; $H_k$&nbsp;   hängt aber sehr wohl von den tatsächlichen Werten von&nbsp; $p_{\text{A|B}}$ &nbsp;und&nbsp; $p_{\text{B|A}}$&nbsp; ab und nicht nur von ihrem Quotienten.&nbsp; Dies zeigt das folgende Beispiel.
 {{GraueBox|TEXT=
 $\text{Beispiel 6:}$&nbsp;
-Wir betrachten drei binäre symmetrische Markovquellen, die sich durch die Zahlenwerte der symmetrischen Übergangswahrscheinlichkeiten $p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}B} } = p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}A} }$ unterscheiden. Für die  Symbolwahrscheinlichkeiten gilt somit  $p_{\rm A} = p_{\rm B}= 0.5,$ und die  anderen Übergangswahrscheinlichkeiten haben dann die Werte
+Wir betrachten drei binäre symmetrische Markovquellen, die sich durch die Zahlenwerte der symmetrischen Übergangswahrscheinlichkeiten&nbsp; $p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}B} } = p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}A} }$&nbsp; unterscheiden.&nbsp; Für die  Symbolwahrscheinlichkeiten gilt somit&nbsp;  $p_{\rm A} = p_{\rm B}= 0.5$, und die  anderen Übergangswahrscheinlichkeiten haben dann die Werte
 [[Datei:P_ID2242__Inf_T_1_2_S5b_neu.png|right|frame|Drei Beispiele binärer Markovquellen]]
@@ Zeile 258: / Zeile 258: @@
 p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}B} }.$$
-*Die mittlere (blaue) Symbolfolge mit $p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}B} } = p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}A} } = 0.5$ besitzt die Entropie $H ≈ 1 \hspace{0.05cm}  \rm bit/Symbol$. Das heißt: &nbsp; In diesem Sonderfall gibt es keine statistischen Bindungen innerhalb der Folge.
+*Die mittlere (blaue) Symbolfolge mit&nbsp; $p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}B} } = p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}A} } = 0.5$&nbsp; besitzt die Entropie&nbsp; $H ≈ 1 \hspace{0.1cm}  \rm bit/Symbol$.&nbsp; Das heißt: &nbsp; In diesem Sonderfall gibt es keine statistischen Bindungen innerhalb der Folge.
-*Die linke (rote) Folge mit $p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}B} } = p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}A} } = 0.25$ weist weniger Wechsel zwischen $\rm A$ und $\rm B$ auf. Aufgrund von statistischen Abhängigkeiten zwischen benachbarten Symbolen ist nun  $H ≈ 0.72 \hspace{0.05cm}  \rm bit/Symbol$ kleiner.
+*Die linke (rote) Folge mit&nbsp; $p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}B} } = p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}A} } = 0.2$&nbsp; weist weniger Wechsel zwischen&nbsp; $\rm A$&nbsp; und&nbsp; $\rm B$&nbsp; auf.&nbsp; Aufgrund von statistischen Abhängigkeiten zwischen benachbarten Symbolen ist nun&nbsp;  $H ≈ 0.72 \hspace{0.1cm}  \rm bit/Symbol$&nbsp; kleiner.
-*Die rechte (grüne) Symbolfolge mit $p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}B} } = p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}A} } = 0.8$ hat die genau gleiche Entropie $H ≈ 0.72 \hspace{0.05cm}  \rm bit/Symbol$ wie die rote Folge. Hier erkennt man viele Bereiche mit sich stets abwechselnden Symbolen (... $\rm ABABAB$ ... ).}}
+*Die rechte (grüne) Symbolfolge mit&nbsp; $p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}B} } = p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}A} } = 0.8$&nbsp; hat die genau gleiche Entropie&nbsp; $H ≈ 0.72 \hspace{0.1cm}  \rm bit/Symbol$&nbsp; wie die rote Folge.&nbsp; Hier erkennt man viele Bereiche mit sich stets abwechselnden Symbolen&nbsp; $($... $\rm ABABAB$ ... $)$.}}
 Zu diesem Beispiel ist noch anzumerken:
-*Hätte man nicht die Markoveigenschaften der roten und der grünen Folge ausgenutzt, so hätte man das Ergebnis $H ≈ 0.72 \hspace{0.05cm}  \rm bit/Symbol$ erst nach langwierigen Berechnungen erhalten.
+*Hätte man nicht die Markoveigenschaften der roten und der grünen Folge ausgenutzt, so hätte man das jeweilige Ergebnis&nbsp; $H ≈ 0.72 \hspace{0.1cm}  \rm bit/Symbol$&nbsp; erst nach langwierigen Berechnungen erhalten.
-*Auf den nächsten Seiten wird gezeigt, dass bei einer Quelle mit Markoveigenschaften der Endwert $H$ allein aus den Entropienäherungen $H_1$ und $H_2$ ermittelt werden kann. Ebenso lassen sich aus $H_1$ und $H_2$ alle Entropienäherungen $H_k$ für $k$–Tupel in einfacher Weise berechnen &nbsp;  ⇒  &nbsp; $H_3$, $H_4$, $H_5$, ... , $H_{100}$, ...
+*Auf den nächsten Seiten wird gezeigt, dass bei einer Quelle mit Markoveigenschaften der Endwert&nbsp; $H$&nbsp; allein aus den Entropienäherungen&nbsp; $H_1$&nbsp; und&nbsp; $H_2$&nbsp; ermittelt werden kann.&nbsp; Ebenso lassen sich aus&nbsp; $H_1$&nbsp; und&nbsp; $H_2$&nbsp; auch alle Entropienäherungen&nbsp; $H_k$&nbsp; für&nbsp; $k$–Tupel in einfacher Weise berechnen &nbsp;  ⇒  &nbsp; $H_3$,&nbsp; $H_4$,&nbsp; $H_5$, ... ,&nbsp; $H_{100}$, ...

@@ Zeile 191: / Zeile 191: @@
 ==Die Entropie des AMI–Codes  ==
 <br>
-Im Kapitel [[Digitalsignalübertragung/Symbolweise_Codierung_mit_Pseudoternärcodes#Eigenschaften_des_AMI-Codes|Symbolweise Codierung mit Pseudoternärcodes]] des Buches „Digitalsignalübertragung” wird unter Anderem der AMI–Pseudoternärcode behandelt.
+Im Kapitel&nbsp; [[Digitalsignalübertragung/Symbolweise_Codierung_mit_Pseudoternärcodes#Eigenschaften_des_AMI-Codes|Symbolweise Codierung mit Pseudoternärcodes]]&nbsp; des Buches „Digitalsignalübertragung” wird unter anderem der AMI–Pseudoternärcode behandelt.
-*Dieser wandelt die Binärfolge $〈 q_ν 〉$ mit $q_ν ∈ \{ \rm L, H \}$ in die Ternärfolge $〈 c_ν 〉$ mit $q_ν ∈ \{ \rm M, N, P \}$.
+*Dieser wandelt die Binärfolge&nbsp; $〈 q_ν 〉$&nbsp; mit&nbsp; $q_ν ∈ \{ \rm L, \ H \}$&nbsp; in die Ternärfolge&nbsp; $〈 c_ν 〉$&nbsp; mit&nbsp; $q_ν ∈ \{ \rm M, \ N, \ P \}$.
-*Die Bezeichnungen der Quellensymbole stehen für $\rm L$ow und $\rm H$igh und die der Codesymbole für $\rm M$inus, $\rm N$ull und $\rm P$lus”
+*Die Bezeichnungen der Quellensymbole stehen für&nbsp; $\rm L$ow&nbsp; und&nbsp; $\rm H$igh&nbsp; und die der Codesymbole für&nbsp; $\rm M$inus,&nbsp; $\rm N$ull&nbsp; und&nbsp; $\rm P$lus”.
 Die Codierregel des AMI–Codes (diese Kurzform steht für „Alternate Mark Inversion”) lautet:
-*Jedes Binärsymbol $q_ν =\rm L$ wird durch das Codesymbol $c_ν =\rm N$ dargestellt.
+[[Datei:P_ID2240__Inf_T_1_2_S4_neu.png|right|frame|Signale und Symbolfolgen beim AMI–Code]]
-:[[Datei:P_ID2240__Inf_T_1_2_S4_neu.png|center|frame|Signale und Symbolfolgen beim AMI–Code]]
+*Jedes Binärsymbol&nbsp; $q_ν =\rm L$&nbsp; wird durch das Codesymbol&nbsp; $c_ν =\rm N$&nbsp; dargestellt.
 Wir betrachten hier jedoch nicht die spektralen Eigenschaften des AMI–Codes, sondern interpretieren diesen Code informationstheoretisch:
-*Aufgrund der Stufenzahl $M = 3$ ist der Entscheidungsgehalt der (ternären) Codefolge gleich $H_0 = \log_2 \ 3 ≈ 1.585 \hspace{0.05cm} \rm  bit/Symbol$. Die erste Entropienäherung liefert $H_1 = 1.5 \hspace{0.05cm} \rm bit/Symbol$, wie die nachfolgende Rechnung zeigt:
+*Aufgrund der Stufenzahl&nbsp; $M = 3$&nbsp; ist der Entscheidungsgehalt der (ternären) Codefolge gleich&nbsp; $H_0 = \log_2 \ 3 ≈ 1.585 \hspace{0.05cm} \rm  bit/Symbol$.&nbsp; Die erste Entropienäherung liefert&nbsp; $H_1 = 1.5 \hspace{0.05cm} \rm bit/Symbol$, wie die nachfolgende Rechnung zeigt:
 :$$p_{\rm H} = p_{\rm L} = 1/2 \hspace{0.3cm}\Rightarrow \hspace{0.3cm}
@@ Zeile 212: / Zeile 213: @@
   \hspace{0.05cm}.$$
-*Betrachten wir nun Zweiertupel. Beim AMI–Code kann $\rm P$ nicht auf $\rm P$ und $\rm M$ nicht auf $\rm M$ folgen. Die Wahrscheinlichkeit für $\rm NN$ ist gleich $p_{\rm L} · p_{\rm L} = 1/4$. Alle anderen (sechs) Zweiertupel treten mit der Wahrscheinlichkeit $1/8$ auf. Daraus folgt für die zweite Entropienäherung:
+*Betrachten wir nun Zweiertupel.&nbsp; Beim AMI–Code kann&nbsp; $\rm P$&nbsp; nicht auf&nbsp; $\rm P$&nbsp; und&nbsp; $\rm M$&nbsp; nicht auf&nbsp; $\rm M$&nbsp; folgen.&nbsp; Die Wahrscheinlichkeit für&nbsp; $\rm NN$&nbsp; ist gleich&nbsp; $p_{\rm L} · p_{\rm L} = 1/4$.&nbsp; Alle anderen (sechs) Zweiertupel treten mit der Wahrscheinlichkeit&nbsp; $1/8$&nbsp; auf.&nbsp; Daraus folgt für die zweite Entropienäherung:
-:$$H_2 = 1/2 \cdot \big [ 1/4 \cdot {\rm log_2}\hspace{0.1cm}4 + 6 \cdot  1/8 \cdot {\rm log_2}\hspace{0.1cm}8  \big ] = 1.375 \,{\rm bit/Symbol}
+:$$H_2 = 1/2 \cdot \big [ 1/4 \cdot {\rm log_2}\hspace{0.1cm}4 + 6 \cdot  1/8 \cdot {\rm log_2}\hspace{0.1cm}8  \big ] = 1.375 \,{\rm bit/Symbol} \hspace{0.05cm}.$$
-*Für die weiteren Entropienäherungen $H_3$, $H_43$, ... und die tatsächliche Entropie $H$ wird gelten:
+*Für die weiteren Entropienäherungen&nbsp; $H_3$,&nbsp; $H_4$, ...&nbsp; und die tatsächliche Entropie&nbsp; $H$&nbsp; wird gelten:
 :$$ H < \hspace{0.05cm}\text{...}\hspace{0.05cm} < H_5 < H_4 < H_3 < H_2  = 1.375 \,{\rm bit/Symbol} \hspace{0.05cm}.$$
-*Bei diesem Beispiel kennt man  ausnahmsweisedie tatsächliche Entropie $H$ der Codesymbolfolge $〈 c_ν 〉$: &nbsp; Da durch den Coder keine neue Information hinzukommt, aber auch keine verloren geht, ergibt sich die gleiche Entropie $H  = 1 \,{\rm bit/Symbol} $ wie für die redundanzfreie Binärfolge $〈 q_ν 〉$.
+*Bei diesem Beispiel kennt man  ausnahmsweisedie tatsächliche Entropie&nbsp; $H$&nbsp; der Codesymbolfolge&nbsp; $〈 c_ν 〉$: &nbsp; Da durch den Coder keine neue Information hinzukommt, aber auch keine verloren geht, ergibt sich die gleiche Entropie&nbsp; $H  = 1 \,{\rm bit/Symbol} $&nbsp; wie für die redundanzfreie Binärfolge $〈 q_ν 〉$.
-Schneller kommt man zum Ergebnis, wenn man den AMI–Code durch eine Markovkette  beschreibt, wie im nächsten Abschnitt dargelegt.
+Die&nbsp; [[Aufgaben:1.4_Entropienäherungen_für_den_AMI-Code|Aufgabe 1.4]]&nbsp; zeigt den beträchtlichen Aufwand zur Berechnung der Entropienäherung&nbsp; $H_3$.&nbsp; Zudem weicht&nbsp; $H_3$&nbsp; noch deutlich vom Endwert&nbsp; $H  = 1 \,{\rm bit/Symbol} $&nbsp; ab.&nbsp; Schneller kommt man zum Ergebnis, wenn man den AMI–Code durch eine Markovkette  beschreibt, wie im nächsten Abschnitt dargelegt.

@@ Zeile 10: / Zeile 10: @@
 {{GraueBox|TEXT=
 $\text{Beispiel 1:}$&nbsp;
-Zu [[Informationstheorie/Gedächtnislose_Nachrichtenquellen#Modell_und_Voraussetzungen|Beginn des ersten Kapitels]] haben wir eine gedächtnislose Nachrichtenquelle mit dem Symbolvorrat $\rm \{A, B, C, D\}$ &nbsp;  ⇒ &nbsp; $M = 4$ &nbsp; betrachtet. Eine beispielhafte Symbolfolge ist in der nachfolgenden Grafik als Quelle $\rm Q1$ nochmals dargestellt.
+Zu&nbsp; [[Informationstheorie/Gedächtnislose_Nachrichtenquellen#Modell_und_Voraussetzungen|Beginn des ersten Kapitels]]&nbsp; haben wir eine gedächtnislose Nachrichtenquelle mit dem Symbolvorrat&nbsp; $\rm \{A, \ B, \ C, \ D\}$ &nbsp;  ⇒ &nbsp; $M = 4$ &nbsp; betrachtet.&nbsp; Eine beispielhafte Symbolfolge ist in der nachfolgenden Grafik als Quelle&nbsp; $\rm Q1$&nbsp; nochmals dargestellt.
-Mit den Symbolwahrscheinlichkeiten $p_{\rm A} = 0.4 \hspace{0.05cm},\hspace{0.2cm}p_{\rm B} = 0.3 \hspace{0.05cm},\hspace{0.2cm}p_{\rm C} = 0.2 \hspace{0.05cm},\hspace{0.2cm}
+Mit den Symbolwahrscheinlichkeiten&nbsp; $p_{\rm A} = 0.4 \hspace{0.05cm},\hspace{0.2cm}p_{\rm B} = 0.3 \hspace{0.05cm},\hspace{0.2cm}p_{\rm C} = 0.2 \hspace{0.05cm},\hspace{0.2cm}
-p_{\rm D} = 0.1\hspace{0.05cm}$ ergibt sich die Entropie zu
+p_{\rm D} = 0.1\hspace{0.05cm}$&nbsp; ergibt sich die Entropie zu
 :$$H \hspace{-0.05cm}= 0.4 \cdot {\rm log}_2\hspace{0.05cm}\frac {1}{0.4} + 0.3 \cdot {\rm log}_2\hspace{0.05cm}\frac {1}{0.3} +0.2 \cdot {\rm log}_2\hspace{0.05cm}\frac {1}{0.2} +0.1 \cdot {\rm log}_2\hspace{0.05cm}\frac {1}{0.1} \approx 1.84 \hspace{0.05cm}{\rm bit/Symbol}
   \hspace{0.01cm}.$$
-Aufgrund der ungleichen Symbolwahrscheinlichkeiten ist die Entropie kleiner als der Entscheidungsgehalt $H_0 = \log_2 M = 2 \hspace{0.05cm} \rm bit/Symbol$.
+Aufgrund der ungleichen Symbolwahrscheinlichkeiten ist die Entropie kleiner als der Entscheidungsgehalt&nbsp; $H_0 = \log_2 M = 2 \hspace{0.05cm} \rm bit/Symbol$.
-[[Datei:P_ID2238__Inf_T_1_2_S1a_neu.png|center|frame|Quaternäre Nachrichtenquelle ohne/mit Gedächtnis]]
+[[Datei:P_ID2238__Inf_T_1_2_S1a_neu.png|right|frame|Quaternäre Nachrichtenquelle ohne/mit Gedächtnis]]
+<br><br>
-Die Quelle $\rm Q2$ ist weitgehend identisch mit der Quelle $\rm Q1$, außer, dass jedes einzelne Symbol nicht nur einmal, sondern zweimal nacheinander ausgegeben wird: $\rm A ⇒ AA$, $\rm B ⇒ BB$, usw.
+Die Quelle&nbsp; $\rm Q2$&nbsp; ist weitgehend identisch mit der Quelle&nbsp; $\rm Q1$, außer, dass jedes einzelne Symbol nicht nur einmal, sondern zweimal nacheinander ausgegeben wird:&nbsp; $\rm A ⇒ AA$,&nbsp; $\rm B ⇒ BB$,&nbsp; usw.
-*Es ist offensichtlich, dass $\rm Q2$ eine kleinere Entropie (Unsicherheit) aufweist als $\rm Q1$.
+*Es ist offensichtlich, dass&nbsp; $\rm Q2$&nbsp; eine kleinere Entropie (Unsicherheit) aufweist als&nbsp; $\rm Q1$.
-*Aufgrund des einfachen Wiederholungscodes ist nun $H = 1.84/2 = 0.92 \hspace{0.05cm} \rm bit/Symbol$ nur halb so groß,
+*Aufgrund des einfachen Wiederholungscodes ist nun&nbsp;
-*obwohl sich an den Auftrittswahrscheinlichkeiten nichts geändert hat.}}
+:$$H = 1.84/2 = 0.92 \hspace{0.05cm} \rm bit/Symbol$$
@@ Zeile 32: / Zeile 33: @@
 Dieses Beispiel zeigt:
 *Die Entropie einer gedächtnisbehafteten Quelle ist kleiner als die Entropie einer gedächtnislosen Quelle mit gleichen Symbolwahrscheinlichkeiten.
-*Es müssen nun auch die statistischen Bindungen innerhalb der Folge $〈 q_ν 〉$ berücksichtigt werden, nämlich die Abhängigkeit des Symbols $q_ν$ von den Vorgängersymbolen $q_{ν–1}$, $q_{ν–2}$, ... }}
+*Es müssen nun auch die statistischen Bindungen innerhalb der Folge&nbsp; $〈 q_ν 〉$&nbsp; berücksichtigt werden,