Aufgaben:Aufgabe 1.6Z: Ternäre Markovquelle - Versionsgeschichte

Guenter am 21. Juni 2021 um 14:09 Uhr

2021-06-21T14:09:05Z

Guenter am 21. Juni 2021 um 13:59 Uhr

2021-06-21T13:59:04Z

Guenter am 17. Januar 2020 um 15:58 Uhr

2020-01-17T15:58:52Z

Guenter am 17. Januar 2020 um 15:48 Uhr

2020-01-17T15:48:32Z

Guenter am 19. September 2018 um 09:07 Uhr

2018-09-19T09:07:07Z

Guenter am 19. September 2018 um 08:44 Uhr

2018-09-19T08:44:48Z

Mwiki-lnt: Textersetzung - „*Sollte die Eingabe des Zahlenwertes „0” erforderlich sein, so geben Sie bitte „0.” ein.“ durch „ “

2018-05-29T12:02:40Z

Textersetzung - „*Sollte die Eingabe des Zahlenwertes „0” erforderlich sein, so geben Sie bitte „0.” ein.“ durch „ “

Guenter: Guenter verschob die Seite Aufgaben:1.6Z Ternäre Markovquelle nach Aufgaben:Aufgabe 1.6Z: Ternäre Markovquelle

2018-01-03T13:55:37Z

Guenter verschob die Seite 1.6Z Ternäre Markovquelle nach Aufgabe 1.6Z: Ternäre Markovquelle

Guenter am 2. Mai 2017 um 14:45 Uhr

2017-05-02T14:45:02Z

Guenter am 2. Mai 2017 um 11:20 Uhr

2017-05-02T11:20:08Z

@@ Zeile 99: / Zeile 99: @@
 :$$p_{\rm AA} = p_{\rm BB}= p_{\rm CC}= p_{\rm AC}=p_{\rm BA}=p_{\rm CB}=1/12  \hspace{0.05cm},\hspace{0.5cm}
 p_{\rm AB} = p_{\rm BC}=p_{\rm CA}=1/6$$
-:$$\Rightarrow \hspace{0.2cm} H_2  = \frac{1}{2} \cdot \left [ 6 \cdot \frac{1}{12} \cdot {\rm ld}\hspace{0.1cm} 12  +
+:$$\Rightarrow \hspace{0.2cm} H_2  = \frac{1}{2} \cdot \left [ 6 \cdot \frac{1}{12} \cdot {\rm log_2}\hspace{0.1cm} 12  +
 \cdot \frac{1}{6} \cdot {\rm log_2}\hspace{0.1cm} 6 \right ] =   \frac{1}{4} \cdot {\rm log_2}\hspace{0.1cm} 4  + \frac{1}{4} \cdot {\rm log_2}\hspace{0.1cm} 3 +   \frac{1}{4} \cdot {\rm log_2}\hspace{0.1cm} 2 +   \frac{1}{4} \cdot {\rm log_2}\hspace{0.1cm} 3
   = \frac{3}{4} + \frac{{\rm log_2}\hspace{0.1cm} 3}{2} \hspace{0.15cm} \underline {= 1.5425 \,{\rm bit/Symbol}}

@@ Zeile 10: / Zeile 10: @@
 Aufgrund der Markoveigenschaft dieser Quelle kann die Entropie auf unterschiedliche Weise ermittelt werden:
-*Man berechnet die <i>beiden ersten Entropienäherungen</i>&nbsp; $H_1$&nbsp; und&nbsp; $H_2$.&nbsp; Dann gilt für die tatsächliche Entropie:
+*Man berechnet die beiden ersten Entropienäherungen&nbsp; $H_1$&nbsp; und&nbsp; $H_2$.&nbsp; Dann gilt für die tatsächliche Entropie:
 :$$H  = 2 \cdot H_{\rm 2} - H_{\rm 1}   \hspace{0.05cm}.$$
-*Nach der <i>direkten Berechnungsmethode</i> kann die Entropie aber auch wie folgt geschrieben werden&nbsp; (insgesamt neun Terme):
+*Nach der &bdquo;direkten Berechnungsmethode&rdquo; kann die Entropie aber auch wie folgt geschrieben werden&nbsp; (insgesamt neun Terme):
 :$$H = p_{\rm AA}  \cdot {\rm log_2}\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A}} + p_{\rm AB}   \cdot {\rm log_2}\hspace{0.1cm}\frac {1}{ p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}} +  \ \text{...}
   \hspace{0.05cm}, \

@@ Zeile 68: / Zeile 68: @@
 ===Musterlösung===
 {{ML-Kopf}}
-'''(1)'''&nbsp; Die maximale Entropie ergibt sich dann, wenn die Symbole $\rm A$, $\rm B$ und $\rm C$ gleichwahrscheinlich und die Symbole innerhalb der Folge statistisch voneinander unabhängig sind. Dann muss gelten:
+'''(1)'''&nbsp; Die maximale Entropie ergibt sich dann, wenn die Symbole&nbsp; $\rm A$,&nbsp; $\rm B$&nbsp; und&nbsp; $\rm C$&nbsp; gleichwahrscheinlich und die Symbole innerhalb der Folge statistisch voneinander unabhängig sind. Dann muss gelten:
-[[Datei:Inf_Z_1_6_vers2.png|right|frame|Übergangsdiagramm für $p = 1/4$, $q = 1$]]
+[[Datei:Inf_Z_1_6_vers2.png|right|frame|Übergangsdiagramm für&nbsp; $p = 1/4$,&nbsp; $q = 1$]]
 * $p_{\rm A} = p_{\rm A|A} =  p_{\rm A|B} = p_{\rm A|C}  = 1/3$,
 * $p_{\rm B} = p_{\rm B|A} =  p_{\rm B|B} = p_{\rm B|C}  = 1/3$,
@@ Zeile 76: / Zeile 76: @@
 Daraus lassen sich die gesuchten Werte bestimmen:
-*Beispielsweise erhält man aus $p_{\rm C|C}  = 1/3$ den Wert &nbsp;$p \hspace{0.15cm}\underline{= 1/3}$.
+*Beispielsweise erhält man aus&nbsp; $p_{\rm C|C}  = 1/3$&nbsp; den Wert &nbsp;$p \hspace{0.15cm}\underline{= 1/3}$.
-*Berücksichtigt man noch die Beziehung &nbsp;$p_{\rm A|A} = p \cdot q$, so folgt &nbsp;$q \hspace{0.15cm}\underline{= 1}$.
+*Berücksichtigt man noch die Beziehung &nbsp;$p_{\rm A|A} = p \cdot q$,&nbsp; so folgt &nbsp;$q \hspace{0.15cm}\underline{= 1}$.
 * Damit ergibt sich die maximale Entropie &nbsp;$H_\text{max} ={\rm  log_2} \ 3\hspace{0.15cm}\underline{= 1.585\  \rm bit/Symbol}$.
-'''(2)'''&nbsp; Mit den Parameterwerten Übergangsdiagramm für $p = 1/4$ &nbsp;und&nbsp;  $q = 1$ ergibt sich das nebenstehende Übergangsdiagramm, das folgende Symmetrien aufweist:
-* $p_{\rm A|A} =  p_{\rm B|B} = p_{\rm C|C}  = 1/4$ (rot markiert),
+'''(2)'''&nbsp; Mit den Parameterwerten&nbsp;  $p = 1/4$ &nbsp;und&nbsp;  $q = 1$ ergibt sich das nebenstehende Übergangsdiagramm, das folgende Symmetrien aufweist:
-* $p_{\rm A|B} =  p_{\rm B|C} = p_{\rm C|A}  = 1/2$ (grün markiert),
+* $p_{\rm A|A} =  p_{\rm B|B} = p_{\rm C|C}  = 1/4$&nbsp; (rot markiert),
-*$p_{\rm A|C} =  p_{\rm B|A} = p_{\rm C|CB}  = 1/4$ (blau markiert).
+* $p_{\rm A|B} =  p_{\rm B|C} = p_{\rm C|A}  = 1/2$&nbsp; (grün markiert),
@@ Zeile 93: / Zeile 94: @@
 '''(3)'''&nbsp; Für die zweite Entropienäherung benötigt man $3^2 = 9$ Verbundwahrscheinlichkeiten. Mit dem Ergebnis aus '''(2)''' erhält man hierfür:
 :$$p_{\rm AA} = p_{\rm BB}= p_{\rm CC}= p_{\rm AC}=p_{\rm BA}=p_{\rm CB}=1/12  \hspace{0.05cm},\hspace{0.5cm}
 p_{\rm AB} = p_{\rm BC}=p_{\rm CA}=1/6$$
@@ Zeile 100: / Zeile 103: @@
   = \frac{3}{4} + \frac{{\rm log_2}\hspace{0.1cm} 3}{2} \hspace{0.15cm} \underline {= 1.5425 \,{\rm bit/Symbol}}
   \hspace{0.05cm}.$$
@@ Zeile 105: / Zeile 109: @@
 :$$H = 2 \cdot H_2 - H_1 = \big [ {3}/{2} + {\rm log_2}\hspace{0.1cm} 3 \big ] -  {\rm log_2}\hspace{0.1cm} 3\hspace{0.15cm} \underline {= 1.5 \,{\rm bit/Symbol}}
   \hspace{0.05cm}.$$
-Zum gleichen Ergebnis würde man mit folgender Rechnung kommen:
+*Zum gleichen Ergebnis würde man nach folgender Rechnung kommen:
 :$$H= p_{\rm AA}  \cdot {\rm log_2}\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A}} + p_{\rm AB}   \cdot {\rm log_2}\hspace{0.1cm}\frac {1}{ p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}} +  ... \hspace{0.1cm}= 6 \cdot \frac{1}{12} \cdot {\rm log_2}\hspace{0.1cm} 4 + 3 \cdot \frac{1}{16} \cdot {\rm log_2}\hspace{0.1cm} 2
   \hspace{0.15cm} \underline {= 1.5 \,{\rm bit/Symbol}}
   \hspace{0.05cm}.$$
 [[Datei:Inf_Z_1_6e_vers2.png|right|frame|Übergangsdiagramm für $p = 1/4$, $q = 0$]]
-'''(5)'''&nbsp; Aus dem nebenstehendenm Übergangsdiagramm mit den aktuellen Parametern erkennt man, dass bei Stationarität $p_{\rm B}  = 0$ gelten wird, da $\rm B$ höchstens zum Starzeitpunkt einmal auftreten kann.
+[[Datei:Inf_Z_1_6e_vers2.png|right|frame|Übergangsdiagramm für&nbsp; $p = 1/4$,&nbsp; $q = 0$]]
-*Es liegt also eine binäre Markovkette mit den Symbolen $\rm A$ und $\rm C$ vor.
+'''(5)'''&nbsp; Aus dem nebenstehendenm Übergangsdiagramm mit den aktuellen Parametern erkennt man, dass bei Stationarität&nbsp; $p_{\rm B}  = 0$&nbsp; gelten wird, da&nbsp; $\rm B$&nbsp; höchstens zum Startzeitpunkt einmal auftreten kann.
-*Die Symbolwahrscheinlichkeiten ergeben sich zu:
+*Es liegt also eine binäre Markovkette mit den Symbolen&nbsp; $\rm A$&nbsp; und&nbsp; $\rm C$&nbsp; vor.
 :$$p_{\rm A} = 0.5 \cdot p_{\rm C} \hspace{0.05cm}, \hspace{0.2cm}p_{\rm A} + p_{\rm C} = 1 \hspace{0.3cm}
 \Rightarrow \hspace{0.3cm} p_{\rm A} = 1/3 \hspace{0.05cm}, \hspace{0.2cm} p_{\rm C} = 2/3\hspace{0.05cm}.  $$

@@ Zeile 4: / Zeile 4: @@
 [[Datei:Inf_Z_1_6_vers2.png|right|frame|Ternäre Markovquelle]]
-Die Grafik zeigt eine Markovquelle mit $M = 3$ Zuständen $\rm A$, $\rm B$ und $\rm C$. Für die beiden Parameter dieses Markovprozesses soll gelten:
+Die Grafik zeigt eine Markovquelle mit&nbsp; $M = 3$&nbsp; Zuständen&nbsp; $\rm A$,&nbsp; $\rm B$&nbsp; und&nbsp; $\rm C$.
 :$$0 \le p \le 0.5 \hspace{0.05cm},\hspace{0.2cm}0 \le q \le 1 \hspace{0.05cm}.$$
 Aufgrund der Markoveigenschaft dieser Quelle kann die Entropie auf unterschiedliche Weise ermittelt werden:
-*Man berechnet die <i>beiden ersten Entropienäherungen</i> $H_1$ und $H_2$. Dann gilt für die tatsächliche Entropie:
+*Man berechnet die <i>beiden ersten Entropienäherungen</i>&nbsp; $H_1$&nbsp; und&nbsp; $H_2$.&nbsp; Dann gilt für die tatsächliche Entropie:
 :$$H  = 2 \cdot H_{\rm 2} - H_{\rm 1}   \hspace{0.05cm}.$$
-*Nach der <i>direkten Berechnungsmethode</i> kann die Entropie aber auch wie folgt berechnet werden (insgesamt 9 Terme):
+*Nach der <i>direkten Berechnungsmethode</i> kann die Entropie aber auch wie folgt geschrieben werden&nbsp; (insgesamt neun Terme):
 :$$H = p_{\rm AA}  \cdot {\rm log_2}\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A}} + p_{\rm AB}   \cdot {\rm log_2}\hspace{0.1cm}\frac {1}{ p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}} +  \ \text{...}
   \hspace{0.05cm}, \
 \text{wobei} \ p_{\rm AA} = p_{\rm A} \cdot p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A} \hspace{0.05cm},\hspace{0.2cm}
 p_{\rm AB} = p_{\rm A} \cdot p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A} \hspace{0.05cm}, \ \text{...}$$
@@ Zeile 22: / Zeile 27: @@
 ''Hinweise:''
-*Die Aufgabe gehört zum  Kapitel [[Informationstheorie/Nachrichtenquellen_mit_Gedächtnis|Nachrichtenquellen mit Gedächtnis]].
+*Die Aufgabe gehört zum  Kapitel&nbsp; [[Informationstheorie/Nachrichtenquellen_mit_Gedächtnis|Nachrichtenquellen mit Gedächtnis]].
-*Bezug genommen wird insbesondere auf die Seite  [[Informationstheorie/Nachrichtenquellen_mit_Gedächtnis#Nichtbin.C3.A4re_Markovquellen|Nichtbinäre Markovquellen]].
+*Bezug genommen wird insbesondere auf die Seite&nbsp;  [[Informationstheorie/Nachrichtenquellen_mit_Gedächtnis#Nichtbin.C3.A4re_Markovquellen|Nichtbinäre Markovquellen]].
 *Bei allen Entropien ist die Pseudoeinheit &bdquo;bit/Symbol&rdquo; hinzuzufügen.
@@ Zeile 31: / Zeile 36: @@
 <quiz display=simple>
-{Für welche Parameter &nbsp;$p$ &nbsp;und&nbsp;  $q$ ergibt sich die maximale Entropie pro Symbol?
+{Für welche Parameter &nbsp;$p$ &nbsp;und&nbsp;  $q$&nbsp; ergibt sich die maximale Entropie pro Symbol?
 |type="{}"}
 $p \ = \ $ { 0.333 1% }
@@ Zeile 38: / Zeile 43: @@
-{Es sei &nbsp;$p = 1/4$ &nbsp;und&nbsp;  $q = 1$. Welcher Wert ergibt sich in diesem Fall für die erste Entropienäherung?
+{Es sei &nbsp;$p = 1/4$ &nbsp;und&nbsp;  $q = 1$.&nbsp; Welcher Wert ergibt sich in diesem Fall für die erste Entropienäherung?
 |type="{}"}
 $H_1 = \  \ $ { 1.585 3% } $\ \rm bit/Symbol$
-{Weiterhin gelte &nbsp;$p = 1/4$ &nbsp;und&nbsp;  $q = 1$. Welcher Wert ergibt sich in diesem Fall für die zweite Entropienäherung?
+{Weiterhin gelte &nbsp;$p = 1/4$ &nbsp;und&nbsp;  $q = 1$.&nbsp; Welcher Wert ergibt sich in diesem Fall für die zweite Entropienäherung?
 |type="{}"}
 $H_2 = \  \ $ { 1.5425 1% } $\ \rm bit/Symbol$

@@ Zeile 63: / Zeile 63: @@
 ===Musterlösung===
 {{ML-Kopf}}
 '''(1)'''&nbsp; Die maximale Entropie ergibt sich dann, wenn die Symbole $\rm A$, $\rm B$ und $\rm C$ gleichwahrscheinlich und die Symbole innerhalb der Folge statistisch voneinander unabhängig sind. Dann muss gelten:
 * $p_{\rm A} = p_{\rm A|A} =  p_{\rm A|B} = p_{\rm A|C}  = 1/3$,
 * $p_{\rm B} = p_{\rm B|A} =  p_{\rm B|B} = p_{\rm B|C}  = 1/3$,
@@ Zeile 72: / Zeile 71: @@
 Daraus lassen sich die gesuchten Werte bestimmen:
-*Beispielsweise erhält man aus $p_{\rm C|C}  = 1/3$ der Wert $p \hspace{0.15cm}\underline{= 1/3}$.
+*Beispielsweise erhält man aus $p_{\rm C|C}  = 1/3$ den Wert &nbsp;$p \hspace{0.15cm}\underline{= 1/3}$.
-*Berücksichtigt man noch die Beziehung $p_{\rm A|A} = p \cdot q$, so folgt $q \hspace{0.15cm}\underline{= 1}$.
+*Berücksichtigt man noch die Beziehung &nbsp;$p_{\rm A|A} = p \cdot q$, so folgt &nbsp;$q \hspace{0.15cm}\underline{= 1}$.
-* Damit ergibt sich die maximale Entropie $H_\text{max} ={\rm  ld} \ 3\hspace{0.15cm}\underline{= 1.585\  \rm bit/Symbol}$.
+* Damit ergibt sich die maximale Entropie &nbsp;$H_\text{max} ={\rm  log_2} \ 3\hspace{0.15cm}\underline{= 1.585\  \rm bit/Symbol}$.
-[[Datei:Inf_Z_1_6_vers2.png|right|Übergangsdiagramm für <i>p</i> = 1/4, <i>q</i> = 1]]
+'''(2)'''&nbsp; Mit den Parameterwerten Übergangsdiagramm für $p = 1/4$ &nbsp;und&nbsp;  $q = 1$ ergibt sich das nebenstehende Übergangsdiagramm, das folgende Symmetrien aufweist:
 * $p_{\rm A|A} =  p_{\rm B|B} = p_{\rm C|C}  = 1/4$ (rot markiert),
 * $p_{\rm A|B} =  p_{\rm B|C} = p_{\rm C|A}  = 1/2$ (grün markiert),
 *$p_{\rm A|C} =  p_{\rm B|A} = p_{\rm C|CB}  = 1/4$ (blau markiert).
 Es ist offensichtlich, dass die Symbolwahrscheinlichkeiten alle gleich sind:
 :$$p_{\rm A} = p_{\rm B} = p_{\rm C} = 1/3 \hspace{0.3cm}
-\Rightarrow \hspace{0.3cm} H_1 =   {\rm ld}\hspace{0.1cm} 3  \hspace{0.15cm} \underline {= 1.585 \,{\rm bit/Symbol}}
+\Rightarrow \hspace{0.3cm} H_1 =   {\rm log_2}\hspace{0.1cm} 3  \hspace{0.15cm} \underline {= 1.585 \,{\rm bit/Symbol}}
   \hspace{0.05cm}.$$
-'''(3)'''&nbsp; Für die zweite Entropienäherung benötigt man die $3^2 = 9$ Verbundwahrscheinlichkeiten. Mit dem Ergebnis der Teilaufgabe (2) erhält man hierfür:
 :$$p_{\rm AA} = p_{\rm BB}= p_{\rm CC}= p_{\rm AC}=p_{\rm BA}=p_{\rm CB}=1/12  \hspace{0.05cm},\hspace{0.5cm}
 p_{\rm AB} = p_{\rm BC}=p_{\rm CA}=1/6$$
 :$$\Rightarrow \hspace{0.2cm} H_2  = \frac{1}{2} \cdot \left [ 6 \cdot \frac{1}{12} \cdot {\rm ld}\hspace{0.1cm} 12  +
-\cdot \frac{1}{6} \cdot {\rm ld}\hspace{0.1cm} 6 \right ] =   \frac{1}{4} \cdot {\rm ld}\hspace{0.1cm} 4  + \frac{1}{4} \cdot {\rm ld}\hspace{0.1cm} 3 +   \frac{1}{4} \cdot {\rm ld}\hspace{0.1cm} 2 +   \frac{1}{4} \cdot {\rm ld}\hspace{0.1cm} 3
+\cdot \frac{1}{6} \cdot {\rm log_2}\hspace{0.1cm} 6 \right ] =   \frac{1}{4} \cdot {\rm log_2}\hspace{0.1cm} 4  + \frac{1}{4} \cdot {\rm log_2}\hspace{0.1cm} 3 +   \frac{1}{4} \cdot {\rm log_2}\hspace{0.1cm} 2 +   \frac{1}{4} \cdot {\rm log_2}\hspace{0.1cm} 3
-  = \frac{3}{4} + \frac{{\rm ld}\hspace{0.1cm} 3}{2} \hspace{0.15cm} \underline {= 1.5425 \,{\rm bit/Symbol}}
+  = \frac{3}{4} + \frac{{\rm log_2}\hspace{0.1cm} 3}{2} \hspace{0.15cm} \underline {= 1.5425 \,{\rm bit/Symbol}}
   \hspace{0.05cm}.$$
 '''(4)'''&nbsp; Aufgrund der Markoveigenschaft der Quelle gilt
-:$$H = 2 \cdot H_2 - H_1 = [ {3}/{2} + {\rm ld}\hspace{0.1cm} 3] -  {\rm ld}\hspace{0.1cm} 3\hspace{0.15cm} \underline {= 1.5 \,{\rm bit/Symbol}}
+:$$H = 2 \cdot H_2 - H_1 = \big [ {3}/{2} + {\rm log_2}\hspace{0.1cm} 3 \big ] -  {\rm log_2}\hspace{0.1cm} 3\hspace{0.15cm} \underline {= 1.5 \,{\rm bit/Symbol}}
   \hspace{0.05cm}.$$
 Zum gleichen Ergebnis würde man mit folgender Rechnung kommen:
-:$$H= p_{\rm AA}  \cdot {\rm ld}\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A}} + p_{\rm AB}   \cdot {\rm ld}\hspace{0.1cm}\frac {1}{ p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}} +  ... \hspace{0.1cm}= 6 \cdot \frac{1}{12} \cdot {\rm ld}\hspace{0.1cm} 4 + 3 \cdot \frac{1}{16} \cdot {\rm ld}\hspace{0.1cm} 2
+:$$H= p_{\rm AA}  \cdot {\rm log_2}\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A}} + p_{\rm AB}   \cdot {\rm log_2}\hspace{0.1cm}\frac {1}{ p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}} +  ... \hspace{0.1cm}= 6 \cdot \frac{1}{12} \cdot {\rm log_2}\hspace{0.1cm} 4 + 3 \cdot \frac{1}{16} \cdot {\rm log_2}\hspace{0.1cm} 2
   \hspace{0.15cm} \underline {= 1.5 \,{\rm bit/Symbol}}
   \hspace{0.05cm}.$$
-[[Datei:Inf_Z_1_6e_vers2.png|right|Übergangsdiagramm für <i>p</i> = 1/4, <i>q</i> = 0]]
+[[Datei:Inf_Z_1_6e_vers2.png|right|frame|Übergangsdiagramm für $p = 1/4$, $q = 0$]]
-'''(5)'''&nbsp; Aus dem nebenstehendenm Übergangsdiagramm mit den aktuellen Parametern erkennt man, dass bei Stationarität $p_{\rm B}  = 0$ gelten wird, da $\rm B$ höchstens zum Starzeitpunkt einmal auftreten kann. Es liegt also eine binäre Markovkette mit den Symbolen $\rm A$ und $\rm C$ vor. Die Symbolwahrscheinlichkeiten ergeben sich zu:
+'''(5)'''&nbsp; Aus dem nebenstehendenm Übergangsdiagramm mit den aktuellen Parametern erkennt man, dass bei Stationarität $p_{\rm B}  = 0$ gelten wird, da $\rm B$ höchstens zum Starzeitpunkt einmal auftreten kann.
 :$$p_{\rm A} = 0.5 \cdot p_{\rm C} \hspace{0.05cm}, \hspace{0.2cm}p_{\rm A} + p_{\rm C} = 1 \hspace{0.3cm}
 \Rightarrow \hspace{0.3cm} p_{\rm A} = 1/3 \hspace{0.05cm}, \hspace{0.2cm} p_{\rm C} = 2/3\hspace{0.05cm}.  $$
-Damit erhält man folgende Wahrscheinlichkeiten:
+*Damit erhält man folgende Wahrscheinlichkeiten:
 :$$p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A} \hspace{0.1cm} =  \hspace{0.1cm}0\hspace{0.7cm} \Rightarrow \hspace{0.3cm} p_{\rm AA} = 0 \hspace{0.05cm},$$
 :$$ p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}C} =1/2\hspace{0.3cm} \Rightarrow \hspace{0.3cm} p_{\rm CA} =
-  p_{\rm C} \cdot p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}C} = 2/3 \cdot 1/2 = 1/3 \hspace{0.05cm},\hspace{0.2cm}{\rm ld}\hspace{0.1cm}(1/p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}C} )= 1\hspace{0.05cm},$$
+  p_{\rm C} \cdot p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}C} = 2/3 \cdot 1/2 = 1/3 \hspace{0.05cm},\hspace{0.2cm}{\rm log_2}\hspace{0.1cm}(1/p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}C} )= 1\hspace{0.05cm},$$
 :$$ p_{\rm C\hspace{0.01cm}|\hspace{0.01cm}A} =1\hspace{0.7cm} \Rightarrow \hspace{0.3cm} p_{\rm AC} =
-  p_{\rm A} \cdot p_{\rm C\hspace{0.01cm}|\hspace{0.01cm}A} = 1/3 \cdot 1 = 1/3 \hspace{0.05cm},\hspace{0.61cm}{\rm ld}\hspace{0.1cm}(1/p_{\rm C\hspace{0.01cm}|\hspace{0.01cm}A} )= 0\hspace{0.05cm},$$
+  p_{\rm A} \cdot p_{\rm C\hspace{0.01cm}|\hspace{0.01cm}A} = 1/3 \cdot 1 = 1/3 \hspace{0.05cm},\hspace{0.61cm}{\rm log_2}\hspace{0.1cm}(1/p_{\rm C\hspace{0.01cm}|\hspace{0.01cm}A} )= 0\hspace{0.05cm},$$
 :$$ p_{\rm C\hspace{0.01cm}|\hspace{0.01cm}C} =1/2\hspace{0.3cm} \Rightarrow \hspace{0.3cm} p_{\rm CC} =
-  p_{\rm C} \cdot p_{\rm C\hspace{0.01cm}|\hspace{0.01cm}C} = 2/3 \cdot 1/2 = 1/3\hspace{0.05cm},\hspace{0.2cm}{\rm ld}\hspace{0.1cm}(1/p_{\rm C\hspace{0.01cm}|\hspace{0.01cm}C} )= 1 $$
+  p_{\rm C} \cdot p_{\rm C\hspace{0.01cm}|\hspace{0.01cm}C} = 2/3 \cdot 1/2 = 1/3\hspace{0.05cm},\hspace{0.2cm}{\rm log_2}\hspace{0.1cm}(1/p_{\rm C\hspace{0.01cm}|\hspace{0.01cm}C} )= 1 $$
-:$$\Rightarrow \hspace{0.25cm} H  = p_{\rm AA}  \cdot {\rm ld}\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A}}  +p_{\rm CA}  \cdot {\rm ld}\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}C}}+ p_{\rm AC} \cdot {\rm ld}\hspace{0.1cm}\frac {1}{ p_{\rm C\hspace{0.01cm}|\hspace{0.01cm}A}} +
+:$$\Rightarrow \hspace{0.25cm} H  = p_{\rm AA}  \cdot {\rm log_2}\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A}}  +p_{\rm CA}  \cdot {\rm log_2}\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}C}}+ p_{\rm AC} \cdot {\rm log_2}\hspace{0.1cm}\frac {1}{ p_{\rm C\hspace{0.01cm}|\hspace{0.01cm}A}} +
-   p_{\rm CC}   \cdot {\rm ld}\hspace{0.1cm}\frac {1}{ p_{\rm C\hspace{0.01cm}|\hspace{0.01cm}C}}=
+   p_{\rm CC}   \cdot {\rm log_2}\hspace{0.1cm}\frac {1}{ p_{\rm C\hspace{0.01cm}|\hspace{0.01cm}C}}=
 + 1/3 \cdot 1 + 1/3 \cdot 0 + 1/3 \cdot 1
   \hspace{0.15cm} \underline {= 0.667 \,{\rm bit/Symbol}}

← Nächstältere Version	Version vom 3. Januar 2018, 13:55 Uhr
(kein Unterschied)