Aufgaben:Aufgabe 1.5: Binäre Markovquelle: Unterschied zwischen den Versionen

Aus LNTwww
Wechseln zu:Navigation, Suche
Zeile 3: Zeile 3:
 
}}
 
}}
  
[[Datei:P_ID2250__Inf_A_1_5.png|right|]]
+
[[Datei:P_ID2250__Inf_A_1_5.png|right|Binäres Markovdiagramm ]]
:Die Aufgabe A1.4 hat gezeigt, dass die Berechnung der Entropie bei einer gedächtnisbehafteten Quelle sehr aufwändig sein kann. Man muss dann zunächst (sehr viele) Entropienäherungen <i>H<sub>k</sub></i> für <i>k</i>&ndash;Tupel berechnen und kann erst  dann mit dem Grenzübergang <i>k</i> &#8594; &#8734; die Quellenentropie ermitteln:
+
Die [[Aufgaben:1.4_Entropienäherungen_für_den_AMI-Code|Aufgabe 1.4]] hat gezeigt, dass die Berechnung der Entropie bei einer gedächtnisbehafteten Quelle sehr aufwändig sein kann. Man muss dann zunächst (sehr viele) Entropienäherungen $H_k$ für $k$&ndash;Tupel berechnen und kann erst  dann mit dem Grenzübergang $k \to \infty$ die Quellenentropie ermitteln:
 
:$$H  =  \lim_{k \rightarrow \infty } H_k  \hspace{0.05cm}.$$
 
:$$H  =  \lim_{k \rightarrow \infty } H_k  \hspace{0.05cm}.$$
:Oft tendiert dabei <i>H<sub>k</sub></i> nur sehr langsam gegen den Grenzwert <i>H</i>.
+
Oft tendiert dabei $H_k$ nur sehr langsam gegen den Grenzwert $H$.
  
:Der Rechengang wird drastisch reduziert, wenn die Nachrichtenquelle Markoveigenschaften besitzt. Die Grafik zeigt das Übergangsdiagramm für eine binäre Markovquelle mit den zwei Zuständen (Symbolen) <b>A</b> und <b>B</b>. Dieses ist durch die beiden bedingten Wahrscheinlichkeiten <i>p</i><sub>A|B</sub> = <i>p</i> und <i>p</i><sub>B|A</sub> = <i>q</i> eindeutig bestimmt. Die bedingten Wahrscheinlichkeiten <i>p</i><sub>A|A</sub> und <i>p</i><sub>B|B</sub> sowie die Symbolwahrscheinlichkeiten <i>p</i><sub>A</sub> und <i>p</i><sub>B</sub> lassen sich daraus ermitteln.
+
Der Rechengang wird drastisch reduziert, wenn die Nachrichtenquelle Markoveigenschaften besitzt. Die Grafik zeigt das Übergangsdiagramm für eine binäre Markovquelle mit den zwei Zuständen (Symbolen) $\rm A$ und $\rm B$.  
 +
*Dieses ist durch die beiden bedingten Wahrscheinlichkeiten $p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B} = p$ und $p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A} = q$ eindeutig bestimmt.  
 +
*Die bedingten Wahrscheinlichkeiten $p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A}$ und $p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}B}$ sowie die Symbolwahrscheinlichkeiten $p_{\rm A}$ und $p_{\rm B}$ lassen sich daraus ermitteln.
  
:Die Entropie der binären Markovkette (mit der Einheit &bdquo;bit/Symbol&rdquo;) lautet dann:
+
 
:$$H = p_{\rm AA}  \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A}} + p_{\rm AB}  \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}} +  p_{\rm BA}  \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B}} + p_{\rm BB}  \cdot   
+
Die Entropie der binären Markovkette (mit der Einheit &bdquo;bit/Symbol&rdquo;) lautet dann:
 +
:$$H = H_{\rm M} =  p_{\rm AA}  \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A}} + p_{\rm AB}  \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}} +  p_{\rm BA}  \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B}} + p_{\rm BB}  \cdot   
 
{\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}B}}
 
{\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}B}}
 
  \hspace{0.05cm}.$$
 
  \hspace{0.05cm}.$$
:Bei dieser Gleichung ist zu beachten, dass im Argument des <i>Logarithmus dualis</i> jeweils die <i>bedingten Wahrscheinlichkeiten p</i><sub>A|A</sub>, <i>p</i><sub>B|A</sub>, ... einzusetzen sind, während für die Gewichtung die <i>Verbundwahrscheinlichkeiten</i> <i>p</i><sub>AA</sub>, <i>p</i><sub>AB</sub>, ... zu verwenden sind.
+
Bei dieser Gleichung ist zu beachten, dass im Argument des <i>Logarithmus dualis</i> jeweils die [[Stochastische_Signaltheorie/Statistische_Abhängigkeit_und_Unabhängigkeit#Bedingte_Wahrscheinlichkeit|bedingten Wahrscheinlichkeiten]] $p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A}$, $p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}$, ... einzusetzen sind, während für die Gewichtung die [[Stochastische_Signaltheorie/Mengentheoretische_Grundlagen#Schnittmenge|Verbundwahrscheinlichkeiten]] $p_{\rm AA}$, $p_{\rm AB}$, ... zu verwenden sind.
  
:Mit der Entropienäherung erster Ordnung,
+
Mit der Entropienäherung erster Ordnung,
 
:$$H_1 = p_{\rm A}  \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm A}} + p_{\rm B}  \cdot  
 
:$$H_1 = p_{\rm A}  \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm A}} + p_{\rm B}  \cdot  
 
{\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm B}}
 
{\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm B}}
 
  \hspace{0.5cm}({\rm Einheit\hspace{-0.1cm}: \hspace{0.1cm}bit/Symbol})\hspace{0.05cm},$$
 
  \hspace{0.5cm}({\rm Einheit\hspace{-0.1cm}: \hspace{0.1cm}bit/Symbol})\hspace{0.05cm},$$
:sowie der oben angegebenen (tatsächlichen) Entropie <i>H</i> lassen sich bei einer Markovquelle auch alle weiteren Entropienäherungen (<i>k</i> = 2, 3, ...) direkt berechnen:
+
sowie der oben angegebenen (tatsächlichen) Entropie $H = H_{\rm M}$ lassen sich bei einer Markovquelle auch alle weiteren Entropienäherungen ($k = 2,, 3$, ...) direkt berechnen:
 
:$$H_k =  \frac{1}{k} \cdot [ H_{\rm 1} + (k-1) \cdot H_{\rm M}]  
 
:$$H_k =  \frac{1}{k} \cdot [ H_{\rm 1} + (k-1) \cdot H_{\rm M}]  
 
  \hspace{0.05cm}.$$
 
  \hspace{0.05cm}.$$
  
:<b>Hinweis:</b> Diese Aufgabe gehört zum Themengebiet von Kapitel 1.2. Mit Ausnahme der Teilaufgabe (6) sei <i>p</i> = 1/4 und <i>q</i> = 1/2.
 
  
:Für die (ergodischen) Symbolwahrscheinlichkeiten einer Markovkette erster Ordnung gilt:
+
''Hinweise:''
 +
*Die Aufgabe gehört zum  Kapitel [[Informationstheorie/Nachrichtenquellen_mit_Gedächtnis|Nachrichtenquellen mit Gedächtnis]].
 +
*Bezug genommen wird insbesondere auch auf die beiden Seiten  [[Stochastische_Signaltheorie/Mengentheoretische_Grundlagen#Schnittmenge|Schnittmenge]] und [[Stochastische_Signaltheorie/Statistische_Abhängigkeit_und_Unabhängigkeit#Bedingte_Wahrscheinlichkeit|Bedingte Wahrscheinlichkeit]].
 +
*Mit Ausnahme der Teilaufgabe (6) gelte stets  $p = 1/4$ und $q = 1/2$.
 +
*Sollte die Eingabe des Zahlenwertes &bdquo;0&rdquo; erforderlich sein, so geben Sie bitte &bdquo;0.&rdquo; ein.
 +
*Für die (ergodischen) Symbolwahrscheinlichkeiten einer Markovkette erster Ordnung gilt:
 
:$$ p_{\rm A}  = \frac {p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B}}
 
:$$ p_{\rm A}  = \frac {p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B}}
 
{ p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B} + p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}}  \hspace{0.05cm},  \hspace{0.3cm}
 
{ p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B} + p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}}  \hspace{0.05cm},  \hspace{0.3cm}
Zeile 36: Zeile 43:
  
 
<quiz display=simple>
 
<quiz display=simple>
{Geben Sie die Übergangswahrscheinlichkeiten für <i>p</i> = 1/4 und <i>q</i> = 1/2 an.
+
{Geben Sie die Übergangswahrscheinlichkeiten für $p = 1/4$ und $q = 1/2$ an.
 
|type="{}"}
 
|type="{}"}
$p = 1/4,\ q = 1/2:\ p_\text{A|A}$ = { 0.5 3% }
+
$p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A} \ = $ { 0.5 3% }
$p_\text{B|B}$ = { 0.75 3% }
+
$p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}B} \ = $ { 0.75 3% }
  
  
{Wie groß sind die Symbolwahrscheinlichkeiten?
+
{Wie groß sind die Symbolwahrscheinlichkeiten? Es gelte weiterhin $p = 1/4$ und $q = 1/2$.
 
|type="{}"}
 
|type="{}"}
$p = 1/4,\ q = 1/2:\ p_A$ = { 0.333 3% }
+
$p_{\rm A} \ = $ { 0.333 3% }
$p_B$ = { 0.667 3% }
+
$p_{\rm B} \ = ${ 0.667 3% }
  
  
{Geben Sie die Entropienäherung erster Ordnung an.
+
{Geben Sie die dazugehörige Entropienäherung erster Ordnung an.
 
|type="{}"}
 
|type="{}"}
$p = 1/4,\ q = 1/2:\ H_1$ = { 0.918 3% } $bit/Symbol$
+
$H_1  \ = $ { 0.918 3% } $\ \rm bit/Symbol$
  
  
{Welche Entropie besitzt diese Markovquelle?
+
{Welche Entropie $H = H_{\rm M}$ besitzt diese Markovquelle mit $p = 1/4$ und $q = 1/2$?
 
|type="{}"}
 
|type="{}"}
$p = 1/4,\ q = 1/2:\ H$ = { 0.875 3% } $bit/Symbol$
+
$H \ =$ { 0.875 3% } $\ \rm bit/Symbol$
  
  
{Welche Näherungen <i>H<sub>k</sub></i> ergeben sich aufgrund der Markoveigenschaften?
+
{Welche Näherungen $H_k$ ergeben sich aufgrund der Markoveigenschaften?
 
|type="{}"}
 
|type="{}"}
$p = 1/4,\ q = 1/2:\ H_2$ = { 0.897 3% } $bit/Symbol$
+
$H_2 \ =$ { 0.897 0.5% } $\ \rm bit/Symbol$
$H_3$ = { 0.889 3% } $bit/Symbol$
+
$H_3 \  =$ { 0.889 3% } $\ \rm bit/Symbol$
$H_4$ = { 0.886 3% } $bit/Symbol$
+
$H_4 \  =$ { 0.886 3% } $\ \rm bit/Symbol$
  
  
{Welche Entropie besitzt die Markovquelle mit <i>p</i> = 1/4 und <i>q</i> = 3/4?
+
{Welche Entropie $H = H_{\rm M}$ besitzt die Markovquelle mit $p = 1/4$ und $q = 3/4$?
 
|type="{}"}
 
|type="{}"}
$p = 1/4,\ q = 1/2:\ H$ = { 0.811 3% } $bit/Symbol$
+
$H \ =$ { 0.811 1% } $\ \rm bit/Symbol$
  
  

Version vom 1. Mai 2017, 15:30 Uhr

Binäres Markovdiagramm

Die Aufgabe 1.4 hat gezeigt, dass die Berechnung der Entropie bei einer gedächtnisbehafteten Quelle sehr aufwändig sein kann. Man muss dann zunächst (sehr viele) Entropienäherungen $H_k$ für $k$–Tupel berechnen und kann erst dann mit dem Grenzübergang $k \to \infty$ die Quellenentropie ermitteln:

$$H = \lim_{k \rightarrow \infty } H_k \hspace{0.05cm}.$$

Oft tendiert dabei $H_k$ nur sehr langsam gegen den Grenzwert $H$.

Der Rechengang wird drastisch reduziert, wenn die Nachrichtenquelle Markoveigenschaften besitzt. Die Grafik zeigt das Übergangsdiagramm für eine binäre Markovquelle mit den zwei Zuständen (Symbolen) $\rm A$ und $\rm B$.

  • Dieses ist durch die beiden bedingten Wahrscheinlichkeiten $p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B} = p$ und $p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A} = q$ eindeutig bestimmt.
  • Die bedingten Wahrscheinlichkeiten $p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A}$ und $p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}B}$ sowie die Symbolwahrscheinlichkeiten $p_{\rm A}$ und $p_{\rm B}$ lassen sich daraus ermitteln.


Die Entropie der binären Markovkette (mit der Einheit „bit/Symbol”) lautet dann:

$$H = H_{\rm M} = p_{\rm AA} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A}} + p_{\rm AB} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}} + p_{\rm BA} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B}} + p_{\rm BB} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}B}} \hspace{0.05cm}.$$

Bei dieser Gleichung ist zu beachten, dass im Argument des Logarithmus dualis jeweils die bedingten Wahrscheinlichkeiten $p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A}$, $p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}$, ... einzusetzen sind, während für die Gewichtung die Verbundwahrscheinlichkeiten $p_{\rm AA}$, $p_{\rm AB}$, ... zu verwenden sind.

Mit der Entropienäherung erster Ordnung,

$$H_1 = p_{\rm A} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm A}} + p_{\rm B} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm B}} \hspace{0.5cm}({\rm Einheit\hspace{-0.1cm}: \hspace{0.1cm}bit/Symbol})\hspace{0.05cm},$$

sowie der oben angegebenen (tatsächlichen) Entropie $H = H_{\rm M}$ lassen sich bei einer Markovquelle auch alle weiteren Entropienäherungen ($k = 2,, 3$, ...) direkt berechnen:

$$H_k = \frac{1}{k} \cdot [ H_{\rm 1} + (k-1) \cdot H_{\rm M}] \hspace{0.05cm}.$$


Hinweise:

  • Die Aufgabe gehört zum Kapitel Nachrichtenquellen mit Gedächtnis.
  • Bezug genommen wird insbesondere auch auf die beiden Seiten Schnittmenge und Bedingte Wahrscheinlichkeit.
  • Mit Ausnahme der Teilaufgabe (6) gelte stets $p = 1/4$ und $q = 1/2$.
  • Sollte die Eingabe des Zahlenwertes „0” erforderlich sein, so geben Sie bitte „0.” ein.
  • Für die (ergodischen) Symbolwahrscheinlichkeiten einer Markovkette erster Ordnung gilt:
$$ p_{\rm A} = \frac {p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B}} { p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B} + p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}} \hspace{0.05cm}, \hspace{0.3cm} p_{\rm B} = \frac {p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}} { p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B} + p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}} \hspace{0.05cm}.$$


Fragebogen

1

Geben Sie die Übergangswahrscheinlichkeiten für $p = 1/4$ und $q = 1/2$ an.

$p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A} \ = $

$p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}B} \ = $

2

Wie groß sind die Symbolwahrscheinlichkeiten? Es gelte weiterhin $p = 1/4$ und $q = 1/2$.

$p_{\rm A} \ = $

$p_{\rm B} \ = $

3

Geben Sie die dazugehörige Entropienäherung erster Ordnung an.

$H_1 \ = $

$\ \rm bit/Symbol$

4

Welche Entropie $H = H_{\rm M}$ besitzt diese Markovquelle mit $p = 1/4$ und $q = 1/2$?

$H \ =$

$\ \rm bit/Symbol$

5

Welche Näherungen $H_k$ ergeben sich aufgrund der Markoveigenschaften?

$H_2 \ =$

$\ \rm bit/Symbol$
$H_3 \ =$

$\ \rm bit/Symbol$
$H_4 \ =$

$\ \rm bit/Symbol$

6

Welche Entropie $H = H_{\rm M}$ besitzt die Markovquelle mit $p = 1/4$ und $q = 3/4$?

$H \ =$

$\ \rm bit/Symbol$


Musterlösung

P ID2757 Inf A 1 5.png
1.  Hier gilt für die Übergangswahrscheinlichkeiten:
$$p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A} \hspace{0.1cm} = \hspace{0.1cm} 1 - p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}= 1 - q \hspace{0.15cm} \underline {= 0.5} \hspace{0.05cm},\\ p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}B} \hspace{0.1cm} = \hspace{0.1cm} 1 - p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B}= 1 - p \hspace{0.15cm} \underline {= 0.75} \hspace{0.05cm}.$$
Nach A sind A und B gleichwahrscheinlich. Nach B tritt B sehr viel häufiger als A auf.
2.  Entsprechend den angegebenen Gleichungen gilt:
$$p_{\rm A}= \frac{p}{p+q} = \frac{0.25}{0.25 + 0.50} \hspace{0.15cm} \underline {= 0.333} \hspace{0.05cm}, \hspace{2cm}$$
$$ p_{\rm B} = \frac{q}{p+q} = \frac{0.50}{0.25 + 0.50} \hspace{0.15cm} \underline {= 0.667} \hspace{0.05cm}.$$
3.  Mit den unter (b) berechneten Wahrscheinlichkeiten gilt:
$$H_{\rm 1} = H_{\rm bin}(p_{\rm A}) = 1/3 \cdot {\rm log}_2\hspace{0.01cm} (3) + 2/3 \cdot {\rm log}_2\hspace{0.01cm} (1.5) = 1.585 - 2/3\hspace{0.15cm} \underline {= 0.918 \,{\rm bit/Symbol}} \hspace{0.05cm}.$$
4.  Die Entropie der Markovquelle lautet entsprechend der Angabe
$$H = p_{\rm AA} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A}} + p_{\rm AB} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}} + p_{\rm BA} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B}} + p_{\rm BB} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}B}} \hspace{0.05cm}.$$
Für die Verbundwahrscheinlichkeiten gilt:
$$p_{\rm AA} \hspace{0.1cm} = \hspace{0.1cm} p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A} \cdot p_{\rm A} = (1-q) \cdot \frac{p}{p+q} = \frac{1/2 \cdot 1/4}{3/4} = \frac{1}{6} \hspace{0.05cm},\\ p_{\rm AB} \hspace{0.1cm} = \hspace{0.1cm} p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A} \cdot p_{\rm A} = q \cdot \frac{p}{p+q} = \frac{1/2 \cdot 1/4}{3/4} = \frac{1}{6} \hspace{0.05cm},\\ p_{\rm BA} \hspace{0.1cm} = \hspace{0.1cm} p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B} \cdot p_{\rm B} = p \cdot \frac{q}{p+q} = p_{\rm AB} = \frac{1}{6} \hspace{0.05cm},\\ p_{\rm BB} \hspace{0.1cm} = \hspace{0.1cm} p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}B} \cdot p_{\rm B} = (1-p) \cdot \frac{q}{p+q} = \frac{3/4 \cdot 1/2}{3/4} = \frac{1}{2} $$
$$\Rightarrow\hspace{0.3cm} H \hspace{0.1cm} = \hspace{0.1cm} 1/6 \cdot {\rm log}_2\hspace{0.01cm} (2) + 1/6 \cdot {\rm log}_2\hspace{0.01cm} (2) + 1/6 \cdot {\rm log}_2\hspace{0.01cm} (4) + 1/2 \cdot {\rm log}_2\hspace{0.1cm} (4/3) = \\ \hspace{0.1cm} = \hspace{0.1cm} 1/6 + 1/6 + 2/6 + 1 - 1/2 \cdot {\rm log}_2\hspace{0.01cm} (3) \hspace{0.15cm} \underline {= 0.875 \,{\rm bit/Symbol}} \hspace{0.05cm}.$$
5.  Allgemein gilt mit HM = H für die k–Entropienäherung:
$$H_k = \frac{1}{k} \cdot [ H_{\rm 1} + (k-1) \cdot H_{\rm M}] \hspace{0.05cm}.$$
Daraus folgt:
$$H_2 \hspace{0.1cm} = \hspace{0.1cm} \frac{1}{2} \cdot [ 0.918 + 1 \cdot 0.875] \hspace{0.15cm} \underline {= 0.897 \,{\rm bit/Symbol}} \hspace{0.05cm},\\ H_3 \hspace{0.1cm} = \hspace{0.1cm} \frac{1}{3} \cdot [ 0.918 + 2 \cdot 0.875] \hspace{0.15cm} \underline {= 0.889 \,{\rm bit/Symbol}} \hspace{0.05cm},\\ H_4 \hspace{0.1cm} = \hspace{0.1cm} \frac{1}{4} \cdot [ 0.918 + 3 \cdot 0.875] \hspace{0.15cm} \underline {= 0.886 \,{\rm bit/Symbol}} \hspace{0.05cm}.$$
P ID2251 Inf A 1 5f.png
6.  Mit dem neuen Parametersatz (p = 1/4, q = 3/4) erhält man für die Symbolwahrscheinlichkeiten: pA = 1/4 und pB = 3/4. Dieser Sonderfall führt demnach zu statistisch unabhängigen Symbolen:
$$ p_{\rm A} = p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A} = p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B} \hspace{0.05cm}, \hspace{0.2cm} p_{\rm B} = p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A} = p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}B} \hspace{0.05cm}.$$
Damit ist die Entropie H identisch mit der Entropienäherung H1:
$$H = H_{\rm 1} = 1/4 \cdot {\rm log}_2\hspace{0.01cm} (4) + 3/4 \cdot {\rm log}_2\hspace{0.01cm} (4/3) = 2 - 0.75 \cdot {\rm log}_2\hspace{0.01cm} (3) \hspace{0.15cm} \underline {= 0.811 \,{\rm bit/Symbol}} \hspace{0.05cm}.$$
Die Entropienäherungen H2, H3, H4, ... liefern hier ebenfalls das Ergebnis 0.811 bit/Symbol.