Aufgaben:Aufgabe 1.6: Nichtbinäre Markovquellen - Versionsgeschichte

Guenter am 21. Juni 2021 um 13:54 Uhr

2021-06-21T13:54:50Z

Guenter am 21. Juni 2021 um 13:49 Uhr

2021-06-21T13:49:03Z

Guenter am 21. Juni 2021 um 13:45 Uhr

2021-06-21T13:45:46Z

Guenter am 17. Januar 2020 um 15:42 Uhr

2020-01-17T15:42:47Z

Guenter am 17. Januar 2020 um 15:27 Uhr

2020-01-17T15:27:38Z

Guenter am 19. September 2018 um 08:36 Uhr

2018-09-19T08:36:22Z

Guenter am 19. September 2018 um 08:21 Uhr

2018-09-19T08:21:00Z

Guenter am 19. September 2018 um 08:16 Uhr

2018-09-19T08:16:28Z

Mwiki-lnt: Textersetzung - „*Sollte die Eingabe des Zahlenwertes „0” erforderlich sein, so geben Sie bitte „0.” ein.“ durch „ “

2018-05-29T12:02:39Z

Textersetzung - „*Sollte die Eingabe des Zahlenwertes „0” erforderlich sein, so geben Sie bitte „0.” ein.“ durch „ “

Guenter: Guenter verschob die Seite Aufgaben:1.6 Nichtbinäre Markovquellen nach Aufgaben:Aufgabe 1.6: Nichtbinäre Markovquellen

2018-01-03T13:55:24Z

Guenter verschob die Seite 1.6 Nichtbinäre Markovquellen nach Aufgabe 1.6: Nichtbinäre Markovquellen

@@ Zeile 133: / Zeile 133: @@
 :$$ H_3 =  (H_1 + 2 \cdot H)/3 = (2 + 2 \cdot 1)/3 \hspace{0.15cm} \underline {= 1.333 \,{\rm bit/Symbol}}\hspace{0.05cm},$$
 :$$ H_4 = (H_1 + 3 \cdot H)/4 = (2 + 3 \cdot 1)/4 \hspace{0.15cm} \underline {= 1.250 \,{\rm bit/Symbol}}\hspace{0.05cm}.$$
-*Auch hier unterscheidet sich die zehnte Näherung noch deutlich vom Endwert, nämlich um&nbsp; $10\%$:
+*Auch hier unterscheidet sich die zehnte Näherung noch deutlich vom Endwert, nämlich sogar um&nbsp; $10\%$:
 :$$H_{10} = (H_1 + 9 \cdot H)/10 = (2 + 9 \cdot 1)/10  {= 1.1 \,{\rm bit/Symbol}}\hspace{0.05cm}.$$
 *Eine Abweichung um nur&nbsp;  $2\%$&nbsp; ergibt sich hier erst für&nbsp; $k = 50$.&nbsp; Zum Vergleich: &nbsp; Bei der Markovquelle&nbsp; $\rm MQ3$&nbsp; wurde diese Annäherung bereits mit&nbsp; $k = 10$&nbsp; erreicht.

@@ Zeile 55: / Zeile 55: @@
-{Wie groß sind für&nbsp; $\rm MQ3$&nbsp; die tatsächliche Quellenentropie&nbsp; $H$&nbsp; und die Näherungen&nbsp; $H_3$&nbsp; und&nbsp; $H_4$?
+{Wie groß sind für&nbsp; $\rm MQ3$&nbsp; die tatsächliche Quellenentropie&nbsp; $H= H_{k \to \infty}$&nbsp; und die Näherungen&nbsp; $H_3$&nbsp; und&nbsp; $H_4$?
 |type="{}"}
-$H \ = \ $  { 1.25 3% } $\ \rm bit/Symbol$
+$H \ =  \ $  { 1.25 3% } $\ \rm bit/Symbol$
 $H_3 \ = \ $ { 1.333 3% } $\ \rm bit/Symbol$
 $H_4 \ = \ $ { 1.3125 3% } $\ \rm bit/Symbol$
@@ Zeile 72: / Zeile 72: @@
-{Wie groß sind für&nbsp; $\rm MQ4$&nbsp; die tatsächliche Quellenentropie&nbsp; $H$&nbsp; und die Näherungen&nbsp; $H_3$&nbsp; und&nbsp; $H_4$?
+{Wie groß sind für&nbsp; $\rm MQ4$&nbsp; die tatsächliche Quellenentropie&nbsp; $H= H_{k \to \infty}$&nbsp; und die Näherungen&nbsp; $H_3$&nbsp; und&nbsp; $H_4$?
 |type="{}"}
 $H \ =  \ $ { 1 3% } $\ \rm bit/Symbol$

@@ Zeile 24: / Zeile 24: @@
 Es gelten folgende Bestimmungsgleichungen:
-:$$H = 2 \cdot H_2 - H_1\hspace{0.05cm},$$
+:$$H = H_{k \to \infty}=2 \cdot H_2 - H_1\hspace{0.05cm},$$
 :$$H_k =  {1}/{k} \cdot \big [ H_{\rm 1} + (k-1) \cdot H \big ]
   \hspace{0.05cm}.$$

@@ Zeile 83: / Zeile 83: @@
 ===Musterlösung===
 {{ML-Kopf}}
-'''(1)'''&nbsp; Die Symbolwahrscheinlichkeiten der ternären Markovquelle sind gegeben. Daraus lässt sich die Entropienäherung $H_1$ berechnen:
+'''(1)'''&nbsp; Die Symbolwahrscheinlichkeiten der ternären Markovquelle sind gegeben.
 :$$H_{\rm 1}  =  1/2 \cdot {\rm log}_2\hspace{0.1cm} (2) + 2 \cdot 1/4 \cdot {\rm log}_2\hspace{0.1cm}(4 )  \hspace{0.15cm} \underline {= 1.5 \,{\rm bit/Symbol}}
   \hspace{0.05cm}.$$
-$\rm X$ und $\rm Y$ sind hier Platzhalter für die Symbole $\rm N$, $\rm P$ und $\rm M$. Dann gilt:
+'''(2)'''&nbsp; Die Verbundwahrscheinlichkeit ist&nbsp; $p_{\rm XY} = p_{\rm X} \cdot p_{\rm Y|X}$,&nbsp; wobei&nbsp; $p_{\rm X}$&nbsp; die Symbolwahrscheinlichkeit von&nbsp; $\rm X$&nbsp; angibt und&nbsp; $p_{\rm Y|X}$&nbsp; die bedingte Wahrscheinlichkeit für&nbsp; $\rm Y$, unter der Voraussetzung, dass vorher&nbsp; $\rm X$&nbsp; aufgetreten ist.
 :$$p_{\rm NN} = 1/2 \cdot 1/2 = 1/4\hspace{0.05cm},\hspace{0.2cm}p_{\rm PP} =  1/4 \cdot 0 = 0\hspace{0.05cm},\hspace{0.2cm}p_{\rm MM} =  1/4 \cdot 0 = 0 \hspace{0.05cm},$$
 :$$ p_{\rm NP} =  1/2 \cdot 1/4 = 1/8\hspace{0.05cm},\hspace{0.2cm} p_{\rm PM} = 1/4 \cdot 1/2 = 1/8\hspace{0.05cm},\hspace{0.2cm}p_{\rm MN} =  1/4 \cdot 1/2 = 1/8 \hspace{0.05cm},$$
@@ Zeile 98: / Zeile 100: @@
-'''(3)'''&nbsp; Da $\rm MQ3$ Markoveigenschaften aufweist, können aus $H_1$ und $H_2$ alle Näherungen $H_3$, $H_4$, ... und auch der Grenzwert $H =H_\infty$  für $k \to \infty$ angegeben werden:
 :$$H  =  2 \cdot H_2 - H_1 = 2\cdot 1.375 - 1.5 \hspace{0.15cm} \underline {= 1.250 \,{\rm bit/Symbol}}\hspace{0.05cm},$$
 :$$ H_3 \hspace{0.1cm} =  \hspace{0.1cm}=  (H_1 + 2 \cdot H)/3 = (1.5 + 2 \cdot 1.25)/3 \hspace{0.15cm} \underline {= 1.333 \,{\rm bit/Symbol}}\hspace{0.05cm},$$
 :$$ H_4 = (H_1 + 3 \cdot H)/4 = (1.5 + 3 \cdot 1.25)/4 \hspace{0.15cm} \underline {= 1.3125 \,{\rm bit/Symbol}}\hspace{0.05cm}.$$
-Die zehnte Entropienäherung unterscheidet sich noch immer, wenn auch nur  geringfügig (um 2%) vom Endwert $H = 1.25 \, \rm bit/Symbol$:
+*Die zehnte Entropienäherung unterscheidet sich noch immer vom Endwert&nbsp; $H = 1.25 \, \rm bit/Symbol$,&nbsp; wenn auch nur  geringfügig&nbsp; $($um $2\%)$&nbsp;:
 :$$H_{10} = (H_1 + 9 \cdot H)/10 = (1.5 + 9 \cdot 1.25)/10  {= 1.275 \,{\rm bit/Symbol}}\hspace{0.05cm}.$$
 '''(4)'''&nbsp; Entsprechend der Angabe sind bei $\rm MQ4$ die $M = 4$ Symbole gleichwahrscheinlich. Daraus folgt:
 :$$H_{\rm 1}  = H_{\rm 0}  = {\rm log}_2\hspace{0.1cm} (4)  \hspace{0.15cm} \underline {= 2 \,{\rm bit/Symbol}}
   \hspace{0.05cm}.$$
 '''(5)'''&nbsp; Von den $M^2 = 16$ möglichen Zweiertupeln sind acht Kombinationen nicht möglich:
 :$$\rm NP, NO, PP, PO, OM, ON, MM,  MN.$$
-Die acht weiteren Kombinationen (Zweiertupel) ergeben jeweils den Verbundwahrscheinlichkeitswert $1/8$, wie an zwei Beispielen gezeigt wird:
+*Die acht weiteren Kombinationen (Zweiertupel) ergeben jeweils den Verbundwahrscheinlichkeitswert&nbsp; $1/8$, wie an zwei Beispielen gezeigt wird:
 :$$p_{\rm NN} = p_{\rm N} \cdot p_{\rm N\hspace{0.01cm}|\hspace{0.01cm}N} = 1/4 \cdot 1/2 = 1/8  \hspace{0.05cm},\hspace{0.5cm}
 p_{\rm MP} = p_{\rm M} \cdot p_{\rm P\hspace{0.01cm}|\hspace{0.01cm}M} = 1/4 \cdot 1/2 = 1/8  \hspace{0.05cm}.$$
 :$$\Rightarrow \hspace{0.3cm} H_2 =  {1}/{2} \cdot \big [ 8 \cdot 1/8 \cdot {\rm log}_2\hspace{0.1cm} (8)  \big ] \hspace{0.15cm} \underline {= 1.5 \,{\rm bit/Symbol}}
   \hspace{0.05cm}.$$
@@ Zeile 125: / Zeile 133: @@
 :$$ H_3 =  (H_1 + 2 \cdot H)/3 = (2 + 2 \cdot 1)/3 \hspace{0.15cm} \underline {= 1.333 \,{\rm bit/Symbol}}\hspace{0.05cm},$$
 :$$ H_4 = (H_1 + 3 \cdot H)/4 = (2 + 3 \cdot 1)/4 \hspace{0.15cm} \underline {= 1.250 \,{\rm bit/Symbol}}\hspace{0.05cm}.$$
-Auch hier unterscheidet sich die zehnte Näherung noch deutlich vom Endwert, nämlich um $10\%$:
+*Auch hier unterscheidet sich die zehnte Näherung noch deutlich vom Endwert, nämlich um&nbsp; $10\%$:
 :$$H_{10} = (H_1 + 9 \cdot H)/10 = (2 + 9 \cdot 1)/10  {= 1.1 \,{\rm bit/Symbol}}\hspace{0.05cm}.$$
-Eine Abweichung um  $2\%$ ergibt sich hier erst für $k = 50$. Zum Vergleich: &nbsp; Bei der Markovquelle $\rm MQ3$ wurde diese Annäherung bereits mit $k = 10$ erreicht.
+*Eine Abweichung um nur&nbsp;  $2\%$&nbsp; ergibt sich hier erst für&nbsp; $k = 50$.&nbsp; Zum Vergleich: &nbsp; Bei der Markovquelle&nbsp; $\rm MQ3$&nbsp; wurde diese Annäherung bereits mit&nbsp; $k = 10$&nbsp; erreicht.
 {{ML-Fuß}}

@@ Zeile 3: / Zeile 3: @@
 }}
-[[Datei:P_ID2253__Inf_A_1_6.png|right|frame|Markovquellen mit <br>$M = 3$ und $M = 4$]]
+[[Datei:P_ID2253__Inf_A_1_6.png|right|frame|Markovquellen mit <br>$M = 3$&nbsp; und&nbsp; $M = 4$]]
-Die Grafik zeigt zwei ergodische Markovquellen (MQ):
+Die Grafik zeigt zwei ergodische Markovquellen&nbsp; $\rm (MQ)$:
-* Die Quelle $\rm MQ3$ ist durch $M = 3$ Zustände (Symbole) $\rm N$, $\rm M$, $\rm P$ gekennzeichnet. Aufgrund der Stationarität haben die Wahrscheinlichkeiten folgende Werte:
+* Die Quelle&nbsp; $\rm MQ3$&nbsp; ist durch&nbsp; $M = 3$&nbsp; Zustände (Symbole)&nbsp; $\rm N$,&nbsp; $\rm M$,&nbsp; $\rm P$&nbsp; gekennzeichnet.&nbsp; Aufgrund der Stationarität haben die Wahrscheinlichkeiten folgende Werte:
 :$$p_{\rm N} =  1/2\hspace{0.05cm},\hspace{0.2cm}p_{\rm M} = p_{\rm P} = 1/4\hspace{0.05cm}.$$
-* Bei der Quelle $\rm MQ4$ ist zusätzlich der Zustand $\rm O$ möglich &nbsp; &#8658; &nbsp; $M = 4$. Aufgrund der symmetrischen Übergänge sind die stationären Wahrscheinlichkeiten alle gleich:
+* Bei der Quelle&nbsp; $\rm MQ4$&nbsp; ist zusätzlich der Zustand&nbsp; $\rm O$&nbsp; möglich &nbsp; &#8658; &nbsp; $M = 4$.&nbsp; Aufgrund der symmetrischen Übergänge sind die stationären Wahrscheinlichkeiten alle gleich:
 :$$p_{\rm N} = p_{\rm M} = p_{\rm O} =  p_{\rm P} = 1/4\hspace{0.05cm}.$$
 Informationstheoretisch sind Markovquellen von besonderer Bedeutung, da bei diesen &ndash; und nur bei diesen &ndash; durch
-* $H_1$  (erste Entropienäherung, nur auf den Symbolwahrscheinlichkeiten basierend), und
+* $H_1$&nbsp;  (erste Entropienäherung, nur auf den Symbolwahrscheinlichkeiten basierend), und
-* $H_2$ (zweite Entropienäherung, berechenbar mit den Verbundwahrscheinlichkeiten für alle Zweiertupel)
+* $H_2$&nbsp; (zweite Entropienäherung, berechenbar mit den Verbundwahrscheinlichkeiten für alle Zweiertupel)
 gleichzeitig auch bestimmt sind:
-* die weiteren Entropienäherungen $H_k$ mit $k = 3, 4$, ...  und
+* die weiteren Entropienäherungen&nbsp; $H_k$&nbsp; mit&nbsp; $k = 3, \ 4$,&nbsp; ...  und
-* die tatsächliche Quellenentropie $H$.
+* die tatsächliche Quellenentropie&nbsp; $H$.
 Es gelten folgende Bestimmungsgleichungen:
-:$$H = 2 \cdot H_2 - H_1\hspace{0.05cm},\hspace{0.4cm}H_k =  {1}/{k} \cdot \big [ H_{\rm 1} + (k-1) \cdot H \big ]
+:$$H = 2 \cdot H_2 - H_1\hspace{0.05cm},$$
   \hspace{0.05cm}.$$
@@ Zeile 32: / Zeile 36: @@
 ''Hinweise:''
-*Die Aufgabe gehört zum  Kapitel [[Informationstheorie/Nachrichtenquellen_mit_Gedächtnis|Nachrichtenquellen mit Gedächtnis]].
+*Die Aufgabe gehört zum  Kapitel&nbsp; [[Informationstheorie/Nachrichtenquellen_mit_Gedächtnis|Nachrichtenquellen mit Gedächtnis]].
-*Bezug genommen wird insbesondere auf die Seite  [[Informationstheorie/Nachrichtenquellen_mit_Gedächtnis#Nichtbin.C3.A4re_Markovquellen|Nichtbinäre Markovquellen]].
+*Bezug genommen wird insbesondere auf die Seite&nbsp;  [[Informationstheorie/Nachrichtenquellen_mit_Gedächtnis#Nichtbin.C3.A4re_Markovquellen|Nichtbinäre Markovquellen]].
 *Bei allen Entropien ist die Pseudoeinheit &bdquo;bit/Symbol&rdquo; hinzuzufügen.
@@ Zeile 41: / Zeile 45: @@
 <quiz display=simple>
-{Berechnen Sie die Entropienäherung $H_1$  der Markovquelle  $\rm MQ3$.
+{Berechnen Sie die Entropienäherung&nbsp; $H_1$&nbsp;  der Markovquelle&nbsp;  $\rm MQ3$.
 |type="{}"}
 $H_1 \ = \ $  { 1.5 3% } $\ \rm bit/Symbol$
-{Berechnen Sie die Entropienäherung $H_2$  der Markovquelle  $\rm MQ3$.
+{Berechnen Sie die Entropienäherung&nbsp; $H_2$&nbsp;  der Markovquelle&nbsp;  $\rm MQ3$.
 |type="{}"}
 $H_2 \ = \  $ { 1.375 3% } $\ \rm bit/Symbol$
-{Wie groß sind für $\rm MQ3$ die tatsächliche Quellenentropie $H$ und die Näherungen $H_3$ und $H_4$?
+{Wie groß sind für&nbsp; $\rm MQ3$&nbsp; die tatsächliche Quellenentropie&nbsp; $H$&nbsp; und die Näherungen&nbsp; $H_3$&nbsp; und&nbsp; $H_4$?
 |type="{}"}
 $H \ = \ $  { 1.25 3% } $\ \rm bit/Symbol$
@@ Zeile 58: / Zeile 62: @@
-{Berechnen Sie die Entropienäherung $H_1$  der Markovquelle  $\rm MQ4$.
+{Berechnen Sie die Entropienäherung&nbsp; $H_1$&nbsp;  der Markovquelle&nbsp;  $\rm MQ4$.
 |type="{}"}
 $H_1 \ = \  $ { 2 3% } $\ \rm bit/Symbol$
-{Berechnen Sie die Entropienäherung $H_2$  der Markovquelle  $\rm MQ4$.
+{Berechnen Sie die Entropienäherung&nbsp; $H_2$&nbsp;  der Markovquelle&nbsp;  $\rm MQ4$.
 |type="{}"}
 $H_2 \ =  \ $ { 1.5 3% } $\ \rm bit/Symbol$
-{Wie groß sind für $\rm MQ4$ die tatsächliche Quellenentropie $H$ und die Näherungen $H_3$ und $H_4$?
+{Wie groß sind für&nbsp; $\rm MQ4$&nbsp; die tatsächliche Quellenentropie&nbsp; $H$&nbsp; und die Näherungen&nbsp; $H_3$&nbsp; und&nbsp; $H_4$?
 |type="{}"}
 $H \ =  \ $ { 1 3% } $\ \rm bit/Symbol$

← Nächstältere Version	Version vom 3. Januar 2018, 13:55 Uhr
(kein Unterschied)