Aufgaben:Aufgabe 1.5Z: Symmetrische Markovquelle: Unterschied zwischen den Versionen

Aus LNTwww
Wechseln zu:Navigation, Suche
(3 dazwischenliegende Versionen desselben Benutzers werden nicht angezeigt)
Zeile 4: Zeile 4:
  
 
[[Datei:Inf_Z_1_5_vers2.png|right|frame|Binäres Markovdiagramm]]
 
[[Datei:Inf_Z_1_5_vers2.png|right|frame|Binäres Markovdiagramm]]
In der [[Aufgaben:1.5_Binäre_Markovquelle|Aufgabe 1.5]] wurde eine binäre Markovquelle behandelt, bei der die Übergangswahrscheinlichkeiten von $\rm A$ nach $\rm B$ und von $\rm B$ nach $\rm A$ unterschiedlich waren. In dieser Aufgabe soll nun gelten:
+
In der  [[Aufgaben:1.5_Binäre_Markovquelle|Aufgabe 1.5]]  wurde eine binäre Markovquelle behandelt, bei der die Übergangswahrscheinlichkeiten von  $\rm A$  nach  $\rm B$  und von  $\rm B$  nach  $\rm A$  unterschiedlich waren.  
 +
 
 +
In dieser Aufgabe soll nun gelten:
 
:$$p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B} = p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A} = q \hspace{0.8cm} ( 0 \le q \le 1)
 
:$$p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B} = p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A} = q \hspace{0.8cm} ( 0 \le q \le 1)
 
  \hspace{0.05cm}.$$
 
  \hspace{0.05cm}.$$
Zeile 12: Zeile 14:
 
* <b>Entropie:</b>
 
* <b>Entropie:</b>
 
:$$H = p_{\rm AA}  \cdot {\rm log_2}\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A}} + p_{\rm AB}  \cdot {\rm log_2}\hspace{0.1cm}\frac {1}{ p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}} +  p_{\rm BA}  \cdot {\rm log_2}\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B}} + p_{\rm BB}  \cdot  {\rm log_2}\hspace{0.1cm}\frac {1}{ p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}B}}
 
:$$H = p_{\rm AA}  \cdot {\rm log_2}\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A}} + p_{\rm AB}  \cdot {\rm log_2}\hspace{0.1cm}\frac {1}{ p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}} +  p_{\rm BA}  \cdot {\rm log_2}\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B}} + p_{\rm BB}  \cdot  {\rm log_2}\hspace{0.1cm}\frac {1}{ p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}B}}
  \hspace{0.05cm},$$
+
  \hspace{0.05cm}.$$
  
 
* <b>Erste Entropienäherung</b>:
 
* <b>Erste Entropienäherung</b>:
 
:$$H_{\rm 1}  =  p_{\rm A} \cdot {\rm log_2}\hspace{0.1cm} \frac{1}{p_{\rm A}} + p_{\rm B} \cdot {\rm log_2}\hspace{0.1cm} \frac{1}{p_{\rm B}}  
 
:$$H_{\rm 1}  =  p_{\rm A} \cdot {\rm log_2}\hspace{0.1cm} \frac{1}{p_{\rm A}} + p_{\rm B} \cdot {\rm log_2}\hspace{0.1cm} \frac{1}{p_{\rm B}}  
  \hspace{0.05cm},$$
+
  \hspace{0.05cm}.$$
  
 
* <b><i>k</i>&ndash;te Entropienäherung</b> $(k = 2, 3, \ \text{...})$:
 
* <b><i>k</i>&ndash;te Entropienäherung</b> $(k = 2, 3, \ \text{...})$:
 
:$$H_k =  {1}/{k} \cdot \big [ H_{\rm 1} + (k-1) \cdot H \big]  
 
:$$H_k =  {1}/{k} \cdot \big [ H_{\rm 1} + (k-1) \cdot H \big]  
 
  \hspace{0.05cm},\hspace{0.5cm}H  =  \lim_{k \rightarrow \infty } H_k  \hspace{0.05cm}.$$
 
  \hspace{0.05cm},\hspace{0.5cm}H  =  \lim_{k \rightarrow \infty } H_k  \hspace{0.05cm}.$$
 +
 +
 +
  
  
Zeile 26: Zeile 31:
  
 
''Hinweise:''  
 
''Hinweise:''  
*Die Aufgabe gehört zum  Kapitel [[Informationstheorie/Nachrichtenquellen_mit_Gedächtnis|Nachrichtenquellen mit Gedächtnis]].
+
*Die Aufgabe gehört zum  Kapitel&nbsp; [[Informationstheorie/Nachrichtenquellen_mit_Gedächtnis|Nachrichtenquellen mit Gedächtnis]].
*Bezug genommen wird insbesondere auf die Seite  [[Informationstheorie/Nachrichtenquellen_mit_Gedächtnis#Bin.C3.A4rquellen_mit_Markoveigenschaften|Binärquellen mit Markoveigenschaften]].
+
*Bezug genommen wird insbesondere auf die Seite&nbsp; [[Informationstheorie/Nachrichtenquellen_mit_Gedächtnis#Bin.C3.A4rquellen_mit_Markoveigenschaften|Binärquellen mit Markoveigenschaften]].
 
*Bei allen Entropien ist die Pseudoeinheit &bdquo;bit/Symbol&rdquo; hinzuzufügen.
 
*Bei allen Entropien ist die Pseudoeinheit &bdquo;bit/Symbol&rdquo; hinzuzufügen.
 
   
 
   
Zeile 36: Zeile 41:
  
 
<quiz display=simple>
 
<quiz display=simple>
{Berechnen Sie die Symbolwahrscheinlichkeiten für die Übergangswahrscheinlichkeit $q = 1/4$.
+
{Berechnen Sie die Symbolwahrscheinlichkeiten für die Übergangswahrscheinlichkeit&nbsp; $q = 1/4$.
 
|type="{}"}
 
|type="{}"}
 
$p_{\rm A} \ = \ $ { 0.5 1% }
 
$p_{\rm A} \ = \ $ { 0.5 1% }
Zeile 42: Zeile 47:
  
  
{Berechnen Sie die Quellenentropie $H$ für $q = 1/4$.
+
{Berechnen Sie die Quellenentropie&nbsp; $H$&nbsp; für&nbsp; $q = 1/4$.
 
|type="{}"}
 
|type="{}"}
$H \ =$ { 0.5 3% } $\ \rm bit/Symbol$
+
$H \ =$ { 0.811 3% } $\ \rm bit/Symbol$
  
  
{Welche Entropienäherungen erhält man für $q = 1/4$?
+
{Welche Entropienäherungen erhält man für&nbsp; $q = 1/4$?
 
|type="{}"}
 
|type="{}"}
 
$H_1 \ = \ $ { 1 1% } $\ \rm bit/Symbol$
 
$H_1 \ = \ $ { 1 1% } $\ \rm bit/Symbol$
Zeile 54: Zeile 59:
  
  
{Bestimmen Sie $q$ derart, dass $H$ maximal wird. Interpretation.
+
{Bestimmen Sie&nbsp; $q$&nbsp; derart, dass&nbsp; $H$&nbsp; maximal wird. Interpretation.
 
|type="{}"}
 
|type="{}"}
 
$q \ = \ $ { 0.5 3% }
 
$q \ = \ $ { 0.5 3% }
  
  
{Welche Symbolfolgen sind mit $q = 0$ möglich?
+
{Welche Symbolfolgen sind mit&nbsp; $q = 0$&nbsp; möglich?
 
|type="[]"}
 
|type="[]"}
 
+ $\rm AAAAAA$ ...  
 
+ $\rm AAAAAA$ ...  
Zeile 66: Zeile 71:
  
  
{Welche Symbolfolgen sind mit $q = 1$ möglich?
+
{Welche Symbolfolgen sind mit&nbsp; $q = 1$&nbsp; möglich?
 
|type="[]"}
 
|type="[]"}
 
- $\rm AAAAAA$ ...  
 
- $\rm AAAAAA$ ...  
Zeile 81: Zeile 86:
 
:$$p_{\rm A} = p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A} \cdot p_{\rm A} + p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B} \cdot p_{\rm B}
 
:$$p_{\rm A} = p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A} \cdot p_{\rm A} + p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B} \cdot p_{\rm B}
 
  = (1-q) \cdot p_{\rm A} + q \cdot p_{\rm B}$$
 
  = (1-q) \cdot p_{\rm A} + q \cdot p_{\rm B}$$
:$$q \cdot p_{\rm A} = q \cdot p_{\rm B} \hspace{0.3cm} \Rightarrow \hspace{0.3cm}p_{\rm A} = p_{\rm B}\hspace{0.15cm} \underline {= 0.5}  
+
:$$\Rightarrow \hspace{0.3cm}q \cdot p_{\rm A} = q \cdot p_{\rm B} \hspace{0.3cm} \Rightarrow \hspace{0.3cm}p_{\rm A} = p_{\rm B}\hspace{0.15cm} \underline {= 0.5}  
 
  \hspace{0.05cm}.$$
 
  \hspace{0.05cm}.$$
  
'''(2)'''&nbsp; Zur Berechnung der Entropie $H$ benötigt man alle vier Verbundwahrscheinlichkeiten:
+
 
 +
 
 +
'''(2)'''&nbsp; Zur Berechnung der Entropie&nbsp; $H$&nbsp; benötigt man alle vier Verbundwahrscheinlichkeiten:
 
:$$p_{\rm AA} \hspace{0.1cm} =  \hspace{0.1cm}  p_{\rm A} \cdot  p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A} = 1/2 \cdot(1-q) = p_{\rm BB}\hspace{0.05cm},\hspace{1cm}  
 
:$$p_{\rm AA} \hspace{0.1cm} =  \hspace{0.1cm}  p_{\rm A} \cdot  p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A} = 1/2 \cdot(1-q) = p_{\rm BB}\hspace{0.05cm},\hspace{1cm}  
 
  p_{\rm AB} \hspace{0.1cm} =  \hspace{0.1cm}  p_{\rm A} \cdot  p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A} = 1/2 \cdot q = p_{\rm BA}\hspace{0.05cm}.$$
 
  p_{\rm AB} \hspace{0.1cm} =  \hspace{0.1cm}  p_{\rm A} \cdot  p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A} = 1/2 \cdot q = p_{\rm BA}\hspace{0.05cm}.$$
Setzt man diese Werte in die gegebene Entropie&ndash;Gleichung ein, so erhält man
+
*Setzt man diese Werte in die gegebene Entropie&ndash;Gleichung ein, so erhält man
 
:$$H  = 2 \cdot \frac{1}{2} \cdot(1-q) \cdot  
 
:$$H  = 2 \cdot \frac{1}{2} \cdot(1-q) \cdot  
 
{\rm log}_2\hspace{0.1cm} \frac{1}{1-q} + 2 \cdot \frac{1}{2} \cdot q \cdot  
 
{\rm log}_2\hspace{0.1cm} \frac{1}{1-q} + 2 \cdot \frac{1}{2} \cdot q \cdot  
 
{\rm log}_2\hspace{0.1cm} \frac{1}{q} =  q \cdot {\rm log}_2\hspace{0.1cm} \frac{1}{q} + (1-q) \cdot {\rm log}_2\hspace{0.1cm} \frac{1}{1-q} = H_{\rm bin}(q) \hspace{0.05cm}.$$
 
{\rm log}_2\hspace{0.1cm} \frac{1}{q} =  q \cdot {\rm log}_2\hspace{0.1cm} \frac{1}{q} + (1-q) \cdot {\rm log}_2\hspace{0.1cm} \frac{1}{1-q} = H_{\rm bin}(q) \hspace{0.05cm}.$$
Der gesuchte Zahlenwert ist $H = H_{\rm bin} (0.25) \hspace{0.15cm}\underline{= 0.811 \, \rm bit/Symbol}$.
+
*Der gesuchte Zahlenwert ist&nbsp; $H = H_{\rm bin} (0.25) \hspace{0.15cm}\underline{= 0.811 \, \rm bit/Symbol}$.
 +
 
  
  
'''(3)'''&nbsp; Bei gleichwahrscheinlichen Binärsymbolen ist $H_1 \hspace{0.15cm}\underline{= 1 \, \rm bit/Symbol}$. Mit der für Markovquellen gültigen Gleichung gilt weiter:
+
'''(3)'''&nbsp; Bei gleichwahrscheinlichen Binärsymbolen ist&nbsp; $H_1 \hspace{0.15cm}\underline{= 1 \, \rm bit/Symbol}$.&nbsp;
:$$H_2 \hspace{0.1cm} =  \hspace{0.1cm}  {1}/{2} \cdot [ H_1 +  H] \hspace{0.15cm} \underline {= 0.906 \,{\rm bit/Symbol}}  
+
*Mit der für Markovquellen gültigen Gleichung gilt weiter:
 +
:$$H_2 \hspace{0.1cm} =  \hspace{0.1cm}  {1}/{2} \cdot \big[ H_1 +  H \big] \hspace{0.15cm} \underline {= 0.906 \,{\rm bit/Symbol}}  
 
  \hspace{0.05cm},$$
 
  \hspace{0.05cm},$$
:$$ H_3 \hspace{0.1cm} =  \hspace{0.1cm} {1}/{3} \cdot [ H_1 + 2  H] \hspace{0.15cm} \underline {= 0.874 \,{\rm bit/Symbol}}  
+
:$$ H_3 \hspace{0.1cm} =  \hspace{0.1cm} {1}/{3} \cdot \big[ H_1 + 2  H \big] \hspace{0.15cm} \underline {= 0.874 \,{\rm bit/Symbol}}  
 
  \hspace{0.05cm}.$$
 
  \hspace{0.05cm}.$$
  
  
'''(4)'''&nbsp; Das Maximum der binären Entropiefunktion ergibt sich für $q\hspace{0.15cm}\underline{= 0.5}$.  Damit beträgt die maximale Entropie $H =  1 \, \rm bit/Symbol$. Man erkennt aus der Beziehung $H = H_1$ und aus dem vorne abgebildeten Übergangsdiagramm, dass $q = 0.5$ statistisch unabhängige Symbole zur Folge hat:
+
 
 +
'''(4)'''&nbsp; Das Maximum der binären Entropiefunktion ergibt sich für&nbsp; $q\hspace{0.15cm}\underline{= 0.5}$.   
 +
*Damit beträgt die maximale Entropie&nbsp; $H =  1 \, \rm bit/Symbol$.  
 +
*Man erkennt aus der Beziehung&nbsp; $H = H_1$&nbsp; und aus dem vorne abgebildeten Übergangsdiagramm, dass&nbsp; $q = 0.5$&nbsp; statistisch unabhängige Symbole zur Folge hat:
 
:$$p_{\rm A} = p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A} = p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B} = 0.5
 
:$$p_{\rm A} = p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A} = p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B} = 0.5
 
  \hspace{0.05cm}, \hspace{0.2cm} p_{\rm B} = p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A} = p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}B}= 0.5
 
  \hspace{0.05cm}, \hspace{0.2cm} p_{\rm B} = p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A} = p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}B}= 0.5
 
  \hspace{0.05cm}.$$
 
  \hspace{0.05cm}.$$
 +
  
  
 
'''(5)'''&nbsp; Richtig sind die <u>Lösungsvorschläge 1 und 2</u>:
 
'''(5)'''&nbsp; Richtig sind die <u>Lösungsvorschläge 1 und 2</u>:
*Die Symbolfolge ergibt sich entweder zu $\rm AAAAAA$ ... oder zu $\rm BBBBBB$ ... , je nachdem, welches Symbol als Startwert vorgegeben wurde.  
+
*Die Symbolfolge ergibt sich entweder zu &nbsp;$\rm AAAAAA$ ... &nbsp;oder zu &nbsp;$\rm BBBBBB$ ... , je nachdem, welches Symbol als Startwert vorgegeben wurde.  
*Die Entropie einer solchen Quelle ist $H = H_{\rm bin}(0) = 0$.
+
*Die Entropie einer solchen Quelle ist stets &nbsp;$H = H_{\rm bin}(0) = 0$.
 +
 
 +
 
  
  
 
'''(6)'''&nbsp; Richtig ist nur der <u>Lösungsvorschlag 3</u>:
 
'''(6)'''&nbsp; Richtig ist nur der <u>Lösungsvorschlag 3</u>:
*Nun kann weder $\rm A$ direkt auf $\rm A$ noch $\rm B$ direkt auf $\rm B$ folgen.  
+
*Nun kann weder&nbsp; $\rm A$&nbsp; direkt auf&nbsp; $\rm A$&nbsp; noch&nbsp; $\rm B$&nbsp; direkt auf&nbsp; $\rm B$&nbsp; folgen.  
*Es ergibt sich stets eine alternierende Folge, je nach Startwert die Folge $\rm ABABAB$ ... oder $\rm BABABA$... .  
+
*Es ergibt sich stets eine alternierende Folge, je nach Startwert die Folge &nbsp;$\rm ABABAB$ ... &nbsp;oder&nbsp; $\rm BABABA$... .  
*Diese Quelle hat in beiden Fällen die Entropie $H = H_{\rm bin}(1) = 0$.
+
*Diese Quelle hat in beiden Fällen ebenfalls  die Entropie&nbsp; $H = H_{\rm bin}(1) = 0$.
 
{{ML-Fuß}}
 
{{ML-Fuß}}
  

Version vom 17. Januar 2020, 16:19 Uhr

Binäres Markovdiagramm

In der  Aufgabe 1.5  wurde eine binäre Markovquelle behandelt, bei der die Übergangswahrscheinlichkeiten von  $\rm A$  nach  $\rm B$  und von  $\rm B$  nach  $\rm A$  unterschiedlich waren.

In dieser Aufgabe soll nun gelten:

$$p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B} = p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A} = q \hspace{0.8cm} ( 0 \le q \le 1) \hspace{0.05cm}.$$

Alle in der Aufgabe 1.5 angegebenen Gleichungen gelten auch hier:

  • Entropie:
$$H = p_{\rm AA} \cdot {\rm log_2}\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A}} + p_{\rm AB} \cdot {\rm log_2}\hspace{0.1cm}\frac {1}{ p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}} + p_{\rm BA} \cdot {\rm log_2}\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B}} + p_{\rm BB} \cdot {\rm log_2}\hspace{0.1cm}\frac {1}{ p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}B}} \hspace{0.05cm}.$$
  • Erste Entropienäherung:
$$H_{\rm 1} = p_{\rm A} \cdot {\rm log_2}\hspace{0.1cm} \frac{1}{p_{\rm A}} + p_{\rm B} \cdot {\rm log_2}\hspace{0.1cm} \frac{1}{p_{\rm B}} \hspace{0.05cm}.$$
  • k–te Entropienäherung $(k = 2, 3, \ \text{...})$:
$$H_k = {1}/{k} \cdot \big [ H_{\rm 1} + (k-1) \cdot H \big] \hspace{0.05cm},\hspace{0.5cm}H = \lim_{k \rightarrow \infty } H_k \hspace{0.05cm}.$$




Hinweise:



Fragebogen

1

Berechnen Sie die Symbolwahrscheinlichkeiten für die Übergangswahrscheinlichkeit  $q = 1/4$.

$p_{\rm A} \ = \ $

$p_{\rm B} \ = \ $

2

Berechnen Sie die Quellenentropie  $H$  für  $q = 1/4$.

$H \ =$

$\ \rm bit/Symbol$

3

Welche Entropienäherungen erhält man für  $q = 1/4$?

$H_1 \ = \ $

$\ \rm bit/Symbol$
$H_2 \ = \ $

$\ \rm bit/Symbol$
$H_3 \ = \ $

$\ \rm bit/Symbol$

4

Bestimmen Sie  $q$  derart, dass  $H$  maximal wird. Interpretation.

$q \ = \ $

5

Welche Symbolfolgen sind mit  $q = 0$  möglich?

$\rm AAAAAA$ ...
$\rm BBBBBB$ ...
$\rm ABABAB$ ...

6

Welche Symbolfolgen sind mit  $q = 1$  möglich?

$\rm AAAAAA$ ...
$\rm BBBBBB$ ...
$\rm ABABAB$ ...


Musterlösung

(1)  Bei einer stationären binären Markovquelle erster Ordnung gilt:

$$p_{\rm A} = p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A} \cdot p_{\rm A} + p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B} \cdot p_{\rm B} = (1-q) \cdot p_{\rm A} + q \cdot p_{\rm B}$$
$$\Rightarrow \hspace{0.3cm}q \cdot p_{\rm A} = q \cdot p_{\rm B} \hspace{0.3cm} \Rightarrow \hspace{0.3cm}p_{\rm A} = p_{\rm B}\hspace{0.15cm} \underline {= 0.5} \hspace{0.05cm}.$$


(2)  Zur Berechnung der Entropie  $H$  benötigt man alle vier Verbundwahrscheinlichkeiten:

$$p_{\rm AA} \hspace{0.1cm} = \hspace{0.1cm} p_{\rm A} \cdot p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A} = 1/2 \cdot(1-q) = p_{\rm BB}\hspace{0.05cm},\hspace{1cm} p_{\rm AB} \hspace{0.1cm} = \hspace{0.1cm} p_{\rm A} \cdot p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A} = 1/2 \cdot q = p_{\rm BA}\hspace{0.05cm}.$$
  • Setzt man diese Werte in die gegebene Entropie–Gleichung ein, so erhält man
$$H = 2 \cdot \frac{1}{2} \cdot(1-q) \cdot {\rm log}_2\hspace{0.1cm} \frac{1}{1-q} + 2 \cdot \frac{1}{2} \cdot q \cdot {\rm log}_2\hspace{0.1cm} \frac{1}{q} = q \cdot {\rm log}_2\hspace{0.1cm} \frac{1}{q} + (1-q) \cdot {\rm log}_2\hspace{0.1cm} \frac{1}{1-q} = H_{\rm bin}(q) \hspace{0.05cm}.$$
  • Der gesuchte Zahlenwert ist  $H = H_{\rm bin} (0.25) \hspace{0.15cm}\underline{= 0.811 \, \rm bit/Symbol}$.


(3)  Bei gleichwahrscheinlichen Binärsymbolen ist  $H_1 \hspace{0.15cm}\underline{= 1 \, \rm bit/Symbol}$. 

  • Mit der für Markovquellen gültigen Gleichung gilt weiter:
$$H_2 \hspace{0.1cm} = \hspace{0.1cm} {1}/{2} \cdot \big[ H_1 + H \big] \hspace{0.15cm} \underline {= 0.906 \,{\rm bit/Symbol}} \hspace{0.05cm},$$
$$ H_3 \hspace{0.1cm} = \hspace{0.1cm} {1}/{3} \cdot \big[ H_1 + 2 H \big] \hspace{0.15cm} \underline {= 0.874 \,{\rm bit/Symbol}} \hspace{0.05cm}.$$


(4)  Das Maximum der binären Entropiefunktion ergibt sich für  $q\hspace{0.15cm}\underline{= 0.5}$.

  • Damit beträgt die maximale Entropie  $H = 1 \, \rm bit/Symbol$.
  • Man erkennt aus der Beziehung  $H = H_1$  und aus dem vorne abgebildeten Übergangsdiagramm, dass  $q = 0.5$  statistisch unabhängige Symbole zur Folge hat:
$$p_{\rm A} = p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A} = p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B} = 0.5 \hspace{0.05cm}, \hspace{0.2cm} p_{\rm B} = p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A} = p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}B}= 0.5 \hspace{0.05cm}.$$


(5)  Richtig sind die Lösungsvorschläge 1 und 2:

  • Die Symbolfolge ergibt sich entweder zu  $\rm AAAAAA$ ...  oder zu  $\rm BBBBBB$ ... , je nachdem, welches Symbol als Startwert vorgegeben wurde.
  • Die Entropie einer solchen Quelle ist stets  $H = H_{\rm bin}(0) = 0$.



(6)  Richtig ist nur der Lösungsvorschlag 3:

  • Nun kann weder  $\rm A$  direkt auf  $\rm A$  noch  $\rm B$  direkt auf  $\rm B$  folgen.
  • Es ergibt sich stets eine alternierende Folge, je nach Startwert die Folge  $\rm ABABAB$ ...  oder  $\rm BABABA$... .
  • Diese Quelle hat in beiden Fällen ebenfalls die Entropie  $H = H_{\rm bin}(1) = 0$.