Aufgaben:Aufgabe 1.4: Entropienäherungen für den AMI-Code - Versionsgeschichte

Maintenance script: Add English interlanguage link

2026-03-16T12:34:50Z

Add English interlanguage link

← Nächstältere Version		Version vom 16. März 2026, 14:34 Uhr
Zeile 112:		Zeile 112:

	[[Category:Aufgaben zu Informationstheorie\|^1.2 Nachrichtenquellen mit Gedächtnis^]]		[[Category:Aufgaben zu Informationstheorie\|^1.2 Nachrichtenquellen mit Gedächtnis^]]
			[[en:Aufgaben:Exercise_1.4:_Entropy_Approximations_for_the_AMI_Code]]

Maintenance script: Join multi-line formulas for MW 1.43 parser compat

2026-02-24T13:38:26Z

Join multi-line formulas for MW 1.43 parser compat

← Nächstältere Version		Version vom 24. Februar 2026, 15:38 Uhr
Zeile 17:		Zeile 17:

	* Die  $k$–te Entropienäherung  $(k = 2, 3, \text{...} \ )$  kann nach folgender Gleichung ermittelt werden:		* Die  $k$–te Entropienäherung  $(k = 2, 3, \text{...} \ )$  kann nach folgender Gleichung ermittelt werden:
	:$$H_k = \frac{1}{k} \cdot \sum_{i=1}^{3^k} p_i^{(k)} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{p_i^{(k)}} \hspace{0.5cm}({\rm Einheit\hspace{-0.1cm}: \hspace{0.1cm}bit/Symbol})		:$$H_k = \frac{1}{k} \cdot \sum_{i=1}^{3^k} p_i^{(k)} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{p_i^{(k)}} \hspace{0.5cm}({\rm Einheit\hspace{-0.1cm}: \hspace{0.1cm}bit/Symbol})\hspace{0.05cm}.$$
	\hspace{0.05cm}.$$
	:Hierbei bezeichnet  $p_i^{(k)}$  die  $i$–te Verbundwahrscheinlichkeit eines  $k$–Tupels.		:Hierbei bezeichnet  $p_i^{(k)}$  die  $i$–te Verbundwahrscheinlichkeit eines  $k$–Tupels.

Zeile 73:		Zeile 72:
	{{ML-Kopf}}		{{ML-Kopf}}
	'''(1)'''  Der Symbolumfang beträgt  $M = 3$.  Daraus ergibt sich der Entscheidungsgehalt mit dem  <i>Logarithmus dualis</i>  zur Basis $2$   ⇒   $\log_2$ bzw $\rm ld$:		'''(1)'''  Der Symbolumfang beträgt  $M = 3$.  Daraus ergibt sich der Entscheidungsgehalt mit dem  <i>Logarithmus dualis</i>  zur Basis $2$   ⇒   $\log_2$ bzw $\rm ld$:
	:$$H_0 = {\rm log}_2\hspace{0.1cm} M = {\rm log}_2\hspace{0.1cm} (3) \hspace{0.15cm} \underline { = 1.585 \,{\rm bit/Symbol}}		:$$H_0 = {\rm log}_2\hspace{0.1cm} M = {\rm log}_2\hspace{0.1cm} (3) \hspace{0.15cm} \underline { = 1.585 \,{\rm bit/Symbol}} \hspace{0.05cm}.$$
	\hspace{0.05cm}.$$



	'''(2)'''  Die Entropienäherung erster Ordnung berücksichtigt nur die Symbolwahrscheinlichkeiten  $p_{\rm P}$,  $p_{\rm N}$  und  $p_{\rm M}$  und nicht die statistischen Bindungen innerhalb der Codefolge  $\langle c_\nu \rangle$.  Damit erhält man:		'''(2)'''  Die Entropienäherung erster Ordnung berücksichtigt nur die Symbolwahrscheinlichkeiten  $p_{\rm P}$,  $p_{\rm N}$  und  $p_{\rm M}$  und nicht die statistischen Bindungen innerhalb der Codefolge  $\langle c_\nu \rangle$.  Damit erhält man:
	:$$p_{\rm N} = p_{\rm L} = 1/2\hspace{0.05cm},\hspace{0.2cm}p_{\rm P} = p_{\rm M} = p_{\rm H}/2 = 1/4 \hspace{0.3cm}		:$$p_{\rm N} = p_{\rm L} = 1/2\hspace{0.05cm},\hspace{0.2cm}p_{\rm P} = p_{\rm M} = p_{\rm H}/2 = 1/4 \hspace{0.3cm}\Rightarrow\hspace{0.3cm} H_1 = \frac{1}{2} \cdot {\rm log}_2\hspace{0.1cm} (2) + 2 \cdot \frac{1}{4} \cdot {\rm log}_2\hspace{0.1cm}(4) \hspace{0.15cm} \underline {= 1.5 \,{\rm bit/Symbol}} \hspace{0.05cm}.$$
	\Rightarrow\hspace{0.3cm} H_1 = \frac{1}{2} \cdot {\rm log}_2\hspace{0.1cm} (2) +
	2 \cdot \frac{1}{4} \cdot {\rm log}_2\hspace{0.1cm}(4) \hspace{0.15cm} \underline {= 1.5 \,{\rm bit/Symbol}}
	\hspace{0.05cm}.$$


Zeile 91:		Zeile 86:
	:$$p_{\rm NN} \hspace{0.1cm} = \hspace{0.1cm} {\rm Pr}( c_1 = \mathbf{N}) \cdot {\rm Pr}(c_2 = \mathbf{N}\hspace{0.05cm} \| c_1 = \mathbf{N}) = 1/2 \cdot 1/2 = 1/4 \hspace{0.05cm},$$		:$$p_{\rm NN} \hspace{0.1cm} = \hspace{0.1cm} {\rm Pr}( c_1 = \mathbf{N}) \cdot {\rm Pr}(c_2 = \mathbf{N}\hspace{0.05cm} \| c_1 = \mathbf{N}) = 1/2 \cdot 1/2 = 1/4 \hspace{0.05cm},$$
	:$$ p_{\rm MN} \hspace{0.1cm} = \hspace{0.1cm} {\rm Pr}( c_1 = \mathbf{M}) \cdot {\rm Pr}(c_2 = \mathbf{N}\hspace{0.05cm} \| c_1 = \mathbf{M}) = 1/4 \cdot 1/2 = 1/8 \hspace{0.05cm},$$		:$$ p_{\rm MN} \hspace{0.1cm} = \hspace{0.1cm} {\rm Pr}( c_1 = \mathbf{M}) \cdot {\rm Pr}(c_2 = \mathbf{N}\hspace{0.05cm} \| c_1 = \mathbf{M}) = 1/4 \cdot 1/2 = 1/8 \hspace{0.05cm},$$
	:$$ p_{\rm PN} \hspace{0.1cm} = \hspace{0.1cm} {\rm Pr}( c_1 = \mathbf{P}) \cdot {\rm Pr}(c_2 = \mathbf{N}\hspace{0.05cm} \| c_1 = \mathbf{P}) = 1/4 \cdot 1/2 = 1/8		:$$ p_{\rm PN} \hspace{0.1cm} = \hspace{0.1cm} {\rm Pr}( c_1 = \mathbf{P}) \cdot {\rm Pr}(c_2 = \mathbf{N}\hspace{0.05cm} \| c_1 = \mathbf{P}) = 1/4 \cdot 1/2 = 1/8\hspace{0.05cm}.$$
	\hspace{0.05cm}.$$
	* Die Verbundwahrscheinlichkeiten der Zweiertupel  $\rm PM$  und  $\rm MP$  lauten:		* Die Verbundwahrscheinlichkeiten der Zweiertupel  $\rm PM$  und  $\rm MP$  lauten:
	:$$p_{\rm PM} \hspace{0.1cm} = \hspace{0.1cm} {\rm Pr}( c_1 = \mathbf{P}) \cdot {\rm Pr}(c_2 = \mathbf{M}\hspace{0.05cm} \| c_1 = \mathbf{P}) = 1/4 \cdot 1/2 = 1/8 \hspace{0.05cm},$$		:$$p_{\rm PM} \hspace{0.1cm} = \hspace{0.1cm} {\rm Pr}( c_1 = \mathbf{P}) \cdot {\rm Pr}(c_2 = \mathbf{M}\hspace{0.05cm} \| c_1 = \mathbf{P}) = 1/4 \cdot 1/2 = 1/8 \hspace{0.05cm},$$
Zeile 101:		Zeile 95:

	Damit ist die Entropie  $H_2'$  eines Zweiertupels bzw. dessen Entropie  $H_2$  pro Codesymbol:		Damit ist die Entropie  $H_2'$  eines Zweiertupels bzw. dessen Entropie  $H_2$  pro Codesymbol:
	:$$H_2\hspace{0.01cm}' = \frac{1}{4} \cdot {\rm log}_2\hspace{0.1cm} (4) +		:$$H_2\hspace{0.01cm}' = \frac{1}{4} \cdot {\rm log}_2\hspace{0.1cm} (4) + 6 \cdot \frac{1}{8} \cdot {\rm log}_2\hspace{0.1cm}(8) \hspace{0.15cm} {= 2.75 \,{\rm bit/Zweiertupel}}\hspace{0.3cm}\Rightarrow\hspace{0.3cm} H_2 = \frac{H_2\hspace{0.01cm}'}{2} \hspace{0.15cm} \underline {= 1.375 \,{\rm bit/Symbol}} \hspace{0.05cm}.$$
	6 \cdot \frac{1}{8} \cdot {\rm log}_2\hspace{0.1cm}(8) \hspace{0.15cm} {= 2.75 \,{\rm bit/Zweiertupel}}\hspace{0.3cm}
	\Rightarrow\hspace{0.3cm} H_2 = \frac{H_2\hspace{0.01cm}'}{2} \hspace{0.15cm} \underline {= 1.375 \,{\rm bit/Symbol}}
	\hspace{0.05cm}.$$


	'''(4)'''  Die Berechnung von  $H_3$  erfolgt ähnlich wie bei der letzten Teilaufgabe für  $H_2$, nur müssen nun  $3^3 = 27$  Verbundwahrscheinlichkeiten ermittelt werden:		'''(4)'''  Die Berechnung von  $H_3$  erfolgt ähnlich wie bei der letzten Teilaufgabe für  $H_2$, nur müssen nun  $3^3 = 27$  Verbundwahrscheinlichkeiten ermittelt werden:
	:$$p_{\rm NNN} = 1/8\hspace{0.4cm}{\rm (nur \hspace{0.15cm}einmal)}		:$$p_{\rm NNN} = 1/8\hspace{0.4cm}{\rm (nur \hspace{0.15cm}einmal)}\hspace{0.05cm},$$
	\hspace{0.05cm},$$		:$$p_{\rm NMM} = p_{\rm NPP} = p_{\rm MNM} = ... = 0 \hspace{0.4cm}{\rm (ingesamt \hspace{0.15cm}12)}\hspace{0.05cm},$$
	:$$p_{\rm NMM} = p_{\rm NPP} = p_{\rm MNM} = ... = 0 \hspace{0.4cm}{\rm (ingesamt \hspace{0.15cm}12)}
	\hspace{0.05cm},$$
	:$$p_{\rm NNM} = p_{\rm NNP} = p_{\rm PMP} = ... = 1/16 \hspace{0.4cm}{\rm (ingesamt \hspace{0.15cm}14)}$$		:$$p_{\rm NNM} = p_{\rm NNP} = p_{\rm PMP} = ... = 1/16 \hspace{0.4cm}{\rm (ingesamt \hspace{0.15cm}14)}$$
	:$$\Rightarrow\hspace{0.3cm} H_3 = \frac{1}{3} \cdot \left [		:$$\Rightarrow\hspace{0.3cm} H_3 = \frac{1}{3} \cdot \left [ \frac{1}{8} \cdot {\rm log}_2\hspace{0.1cm} (8) + 14 \cdot \frac{1}{16} \cdot {\rm log}_2\hspace{0.1cm}(16)\right ] \hspace{0.15cm} \underline {= 1.292 \,{\rm bit/Symbol}} \hspace{0.05cm}.$$
	\frac{1}{8} \cdot {\rm log}_2\hspace{0.1cm} (8) +
	14 \cdot \frac{1}{16} \cdot {\rm log}_2\hspace{0.1cm}(16)
	\right ] \hspace{0.15cm} \underline {= 1.292 \,{\rm bit/Symbol}}
	\hspace{0.05cm}.$$

Guenter am 19. Juni 2021 um 13:33 Uhr

2021-06-19T13:33:09Z

← Nächstältere Version		Version vom 19. Juni 2021, 15:33 Uhr
Zeile 6:		Zeile 6:
	Die Grafik zeigt oben das binäre Quellensignal  $q(t)$, das man ebenfalls durch die Symbolfolge  $\langle q_\nu \rangle$  mit  $q_\nu \in \{ {\rm L}, {\rm H} \}$  beschreiben kann.  In der gesamten Aufgabe gelte  $p_{\rm L} = p_{\rm H} =0.5$.		Die Grafik zeigt oben das binäre Quellensignal  $q(t)$, das man ebenfalls durch die Symbolfolge  $\langle q_\nu \rangle$  mit  $q_\nu \in \{ {\rm L}, {\rm H} \}$  beschreiben kann.  In der gesamten Aufgabe gelte  $p_{\rm L} = p_{\rm H} =0.5$.

	Das codierte Signal  $c(t)$  und die dazugehörige Symbolfolge  $\langle c_\nu \rangle$  mit  $c_\nu \in \{{\rm P}, {\rm N}, {\rm M} \}$  ergibt sich aus der AMI–Codierung (~~<i>~~Alternate Mark Inversion~~</i>~~) nach folgender Vorschrift:		Das codierte Signal  $c(t)$  und die dazugehörige Symbolfolge  $\langle c_\nu \rangle$  mit  $c_\nu \in \{{\rm P}, {\rm N}, {\rm M} \}$  ergibt sich aus der AMI–Codierung  (&bdquo;Alternate Mark Inversion”)  nach folgender Vorschrift:

	* Das Binärsymbol  $\rm L$  ⇒  ~~<i>~~Low~~</i>~~ wird stets durch das Ternärsymbol  $\rm N$  ⇒  ~~<i>~~Null</i>  dargestellt.		* Das Binärsymbol  $\rm L$   ⇒   &bdquo;Low” wird stets durch das Ternärsymbol  $\rm N$  ⇒  &bdquo;Null</i>  dargestellt.
	* Das Binärsymbol  $\rm H$  ⇒  ~~<i>~~High</i>&~~nbsp~~; wird ebenfalls deterministisch, aber alternierend (daher der Name &bdquo;~~AMI~~”) durch die Symbole  $\rm P$  ⇒  ~~<i>~~Plus</i>&~~nbsp~~; und  $\rm M$  ⇒  ~~<i>~~Minus~~</i>~~  codiert.		* Das Binärsymbol  $\rm H$  ⇒  &bdquo;High</i>” wird ebenfalls deterministisch, aber alternierend (daher der Name &bdquo;Alternate Mark Inversion”) durch die Symbole  $\rm P$  ⇒  &bdquo;Plus</i>” und  $\rm M$  ⇒  &bdquo;Minus”  codiert.

Guenter am 16. Januar 2020 um 17:07 Uhr

2020-01-16T17:07:49Z

← Nächstältere Version		Version vom 16. Januar 2020, 19:07 Uhr
Zeile 72:		Zeile 72:
	===Musterlösung===		===Musterlösung===
	{{ML-Kopf}}		{{ML-Kopf}}
	'''(1)'''  Der Symbolumfang beträgt $M = 3$. Daraus ergibt sich der Entscheidungsgehalt mit dem <i>Logarithmus dualis</i> zur Basis 2   ⇒   $\log_2$ bzw $\rm ld$:		'''(1)'''  Der Symbolumfang beträgt  $M = 3$.  Daraus ergibt sich der Entscheidungsgehalt mit dem  <i>Logarithmus dualis</i>  zur Basis $2$   ⇒   $\log_2$ bzw $\rm ld$:
	:$$H_0 = {\rm log}_2\hspace{0.1cm} M = {\rm log}_2\hspace{0.1cm} (3) \hspace{0.15cm} \underline { = 1.585 \,{\rm bit/Symbol}}		:$$H_0 = {\rm log}_2\hspace{0.1cm} M = {\rm log}_2\hspace{0.1cm} (3) \hspace{0.15cm} \underline { = 1.585 \,{\rm bit/Symbol}}
	\hspace{0.05cm}.$$		\hspace{0.05cm}.$$


	'''(2)'''  Die Entropienäherung erster Ordnung berücksichtigt nur die Symbolwahrscheinlichkeiten $p_{\rm P}$, $p_{\rm N}$ und $p_{\rm M}$ und nicht die statistischen Bindungen innerhalb der Codefolge $\langle c_\nu \rangle$. Damit erhält man:
			'''(2)'''  Die Entropienäherung erster Ordnung berücksichtigt nur die Symbolwahrscheinlichkeiten  $p_{\rm P}$,  $p_{\rm N}$  und  $p_{\rm M}$  und nicht die statistischen Bindungen innerhalb der Codefolge  $\langle c_\nu \rangle$.  Damit erhält man:
	:$$p_{\rm N} = p_{\rm L} = 1/2\hspace{0.05cm},\hspace{0.2cm}p_{\rm P} = p_{\rm M} = p_{\rm H}/2 = 1/4 \hspace{0.3cm}		:$$p_{\rm N} = p_{\rm L} = 1/2\hspace{0.05cm},\hspace{0.2cm}p_{\rm P} = p_{\rm M} = p_{\rm H}/2 = 1/4 \hspace{0.3cm}
	\Rightarrow\hspace{0.3cm} H_1 = \frac{1}{2} \cdot {\rm log}_2\hspace{0.1cm} (2) +		\Rightarrow\hspace{0.3cm} H_1 = \frac{1}{2} \cdot {\rm log}_2\hspace{0.1cm} (2) +
Zeile 84:		Zeile 85:


	'''(3)'''  Zunächst müssen hier die $M^2 = 9$ Verbundwahrscheinlichkeiten von Zweiertupeln ermittelt werden, im Folgenden gekennzeichnet durch die beiden ersten Codesymbole $c_1$ und $c_2$:
	* Da beim AMI–Code weder $\rm P$ auf $\rm P$ noch $\rm M$ auf $\rm M$ folgen kann, ist $p_{\rm PP} = p_{\rm MM} =0$.		'''(3)'''  Zunächst müssen hier die  $M^2 = 9$  Verbundwahrscheinlichkeiten von Zweiertupeln ermittelt werden, im Folgenden gekennzeichnet durch die beiden ersten Codesymbole  $c_1$  und  $c_2$:
	* Für die Verbundwahrscheinlichkeiten unter der Bedingung $c_2 = \rm N$ gilt:		* Da beim AMI–Code weder  $\rm P$  auf  $\rm P$  noch  $\rm M$  auf  $\rm M$  folgen kann, ist  $p_{\rm PP} = p_{\rm MM} =0$.
			* Für die Verbundwahrscheinlichkeiten unter der Bedingung  $c_2 = \rm N$  gilt:
	:$$p_{\rm NN} \hspace{0.1cm} = \hspace{0.1cm} {\rm Pr}( c_1 = \mathbf{N}) \cdot {\rm Pr}(c_2 = \mathbf{N}\hspace{0.05cm} \| c_1 = \mathbf{N}) = 1/2 \cdot 1/2 = 1/4 \hspace{0.05cm},$$		:$$p_{\rm NN} \hspace{0.1cm} = \hspace{0.1cm} {\rm Pr}( c_1 = \mathbf{N}) \cdot {\rm Pr}(c_2 = \mathbf{N}\hspace{0.05cm} \| c_1 = \mathbf{N}) = 1/2 \cdot 1/2 = 1/4 \hspace{0.05cm},$$
	:$$ p_{\rm MN} \hspace{0.1cm} = \hspace{0.1cm} {\rm Pr}( c_1 = \mathbf{M}) \cdot {\rm Pr}(c_2 = \mathbf{N}\hspace{0.05cm} \| c_1 = \mathbf{M}) = 1/4 \cdot 1/2 = 1/8 \hspace{0.05cm},$$		:$$ p_{\rm MN} \hspace{0.1cm} = \hspace{0.1cm} {\rm Pr}( c_1 = \mathbf{M}) \cdot {\rm Pr}(c_2 = \mathbf{N}\hspace{0.05cm} \| c_1 = \mathbf{M}) = 1/4 \cdot 1/2 = 1/8 \hspace{0.05cm},$$
	:$$ p_{\rm PN} \hspace{0.1cm} = \hspace{0.1cm} {\rm Pr}( c_1 = \mathbf{P}) \cdot {\rm Pr}(c_2 = \mathbf{N}\hspace{0.05cm} \| c_1 = \mathbf{P}) = 1/4 \cdot 1/2 = 1/8		:$$ p_{\rm PN} \hspace{0.1cm} = \hspace{0.1cm} {\rm Pr}( c_1 = \mathbf{P}) \cdot {\rm Pr}(c_2 = \mathbf{N}\hspace{0.05cm} \| c_1 = \mathbf{P}) = 1/4 \cdot 1/2 = 1/8
	\hspace{0.05cm}.$$		\hspace{0.05cm}.$$
	* Die Verbundwahrscheinlichkeiten der Zweiertupel $\rm PM$ und $\rm MP$ lauten:		* Die Verbundwahrscheinlichkeiten der Zweiertupel  $\rm PM$  und  $\rm MP$  lauten:
	:$$p_{\rm PM} \hspace{0.1cm} = \hspace{0.1cm} {\rm Pr}( c_1 = \mathbf{P}) \cdot {\rm Pr}(c_2 = \mathbf{M}\hspace{0.05cm} \| c_1 = \mathbf{P}) = 1/4 \cdot 1/2 = 1/8 \hspace{0.05cm},$$		:$$p_{\rm PM} \hspace{0.1cm} = \hspace{0.1cm} {\rm Pr}( c_1 = \mathbf{P}) \cdot {\rm Pr}(c_2 = \mathbf{M}\hspace{0.05cm} \| c_1 = \mathbf{P}) = 1/4 \cdot 1/2 = 1/8 \hspace{0.05cm},$$
	:$$ p_{\rm MP} \hspace{0.1cm} = \hspace{0.1cm} {\rm Pr}( c_1 = \mathbf{M}) \cdot {\rm Pr}(c_2 = \mathbf{P}\hspace{0.05cm} \| c_1 = \mathbf{M}) = 1/4 \cdot 1/2 = 1/8 \hspace{0.05cm}.$$		:$$ p_{\rm MP} \hspace{0.1cm} = \hspace{0.1cm} {\rm Pr}( c_1 = \mathbf{M}) \cdot {\rm Pr}(c_2 = \mathbf{P}\hspace{0.05cm} \| c_1 = \mathbf{M}) = 1/4 \cdot 1/2 = 1/8 \hspace{0.05cm}.$$
	* Bei den restlichen Wahrscheinlichkeiten muss zusätzlich berücksichtigt werden, ob beim letzten Mal das Binärsymbol $\rm H$ mit $\rm P$ oder mit $\rm M$ codiert wurde  ⇒  weiterer Faktor $1/2$:		* Bei den restlichen Wahrscheinlichkeiten muss zusätzlich berücksichtigt werden, ob beim letzten Mal das Binärsymbol  $\rm H$  mit  $\rm P$  oder mit  $\rm M$  codiert wurde  ⇒  weiterer Faktor  $1/2$:
	:$$p_{\rm NM} \hspace{0.1cm} = \hspace{0.1cm} {\rm Pr}( c_1 = \mathbf{N}) \cdot {\rm Pr}(c_2 = \mathbf{M}\hspace{0.05cm} \| c_1 = \mathbf{N}) = 1/2 \cdot 1/2 \cdot 1/2= 1/8 \hspace{0.05cm},$$		:$$p_{\rm NM} \hspace{0.1cm} = \hspace{0.1cm} {\rm Pr}( c_1 = \mathbf{N}) \cdot {\rm Pr}(c_2 = \mathbf{M}\hspace{0.05cm} \| c_1 = \mathbf{N}) = 1/2 \cdot 1/2 \cdot 1/2= 1/8 \hspace{0.05cm},$$
	:$$ p_{\rm NP} \hspace{0.1cm} = \hspace{0.1cm} {\rm Pr}( c_1 = \mathbf{N}) \cdot {\rm Pr}(c_2 = \mathbf{P}\hspace{0.05cm} \| c_1 = \mathbf{N}) = 1/2 \cdot 1/2 \cdot 1/2 = 1/8 \hspace{0.05cm}.$$		:$$ p_{\rm NP} \hspace{0.1cm} = \hspace{0.1cm} {\rm Pr}( c_1 = \mathbf{N}) \cdot {\rm Pr}(c_2 = \mathbf{P}\hspace{0.05cm} \| c_1 = \mathbf{N}) = 1/2 \cdot 1/2 \cdot 1/2 = 1/8 \hspace{0.05cm}.$$

	Damit ist die Entropie $H_2'$ eines Zweiertupels bzw. dessen Entropie $H_2$ pro Codesymbol:		Damit ist die Entropie  $H_2'$  eines Zweiertupels bzw. dessen Entropie  $H_2$  pro Codesymbol:
	:$$H_2\hspace{0.01cm}' = \frac{1}{4} \cdot {\rm log}_2\hspace{0.1cm} (4) +		:$$H_2\hspace{0.01cm}' = \frac{1}{4} \cdot {\rm log}_2\hspace{0.1cm} (4) +
	6 \cdot \frac{1}{8} \cdot {\rm log}_2\hspace{0.1cm}(8) \hspace{0.15cm} {= 2.75 \,{\rm bit/Zweiertupel}}\hspace{0.3cm}		6 \cdot \frac{1}{8} \cdot {\rm log}_2\hspace{0.1cm}(8) \hspace{0.15cm} {= 2.75 \,{\rm bit/Zweiertupel}}\hspace{0.3cm}
Zeile 105:		Zeile 107:


	'''(4)'''  Die Berechnung von $H_3$ erfolgt ähnlich wie bei der letzten Teilaufgabe für $H_2$, nur müssen nun $3^3 = 27$ Verbundwahrscheinlichkeiten ermittelt werden:		'''(4)'''  Die Berechnung von  $H_3$  erfolgt ähnlich wie bei der letzten Teilaufgabe für  $H_2$, nur müssen nun  $3^3 = 27$  Verbundwahrscheinlichkeiten ermittelt werden:
	:$$p_{\rm NNN} = 1/8\hspace{0.4cm}{\rm (nur \hspace{0.15cm}einmal)}		:$$p_{\rm NNN} = 1/8\hspace{0.4cm}{\rm (nur \hspace{0.15cm}einmal)}
	\hspace{0.05cm},$$		\hspace{0.05cm},$$
Zeile 119:		Zeile 121:

	'''(5)'''  Richtig sind die <u>Lösungsvorschläge 1 und 2</u>.		'''(5)'''  Richtig sind die <u>Lösungsvorschläge 1 und 2</u>.
	*Falsch ist dagegen die Aussage 3, da $H_4$ auf jeden Fall kleiner sein muss als $H_3 = 1.292 \; \rm bit/Symbol$.		*Falsch ist dagegen die Aussage 3, da  $H_4$  auf jeden Fall kleiner sein muss als  $H_3 = 1.292 \; \rm bit/Symbol$.
	{{ML-Fuß}}		{{ML-Fuß}}

Guenter am 16. Januar 2020 um 17:00 Uhr

2020-01-16T17:00:28Z

← Nächstältere Version		Version vom 16. Januar 2020, 19:00 Uhr
Zeile 4:		Zeile 4:

	[[Datei:P_ID2248__Inf_A_1_4.png\|right\|frame\|Binäres Quellensignal (oben) und <br>ternäres Codersignal (unten)]]		[[Datei:P_ID2248__Inf_A_1_4.png\|right\|frame\|Binäres Quellensignal (oben) und <br>ternäres Codersignal (unten)]]
	Die Grafik zeigt oben das binäre Quellensignal $q(t)$, das man ebenfalls durch die Symbolfolge $\langle q_\nu \rangle$ mit $q_\nu \in \{ {\rm L}, {\rm H} \}$ beschreiben kann. In der gesamten Aufgabe gelte $p_{\rm L} = p_{\rm H} =0.5$.		Die Grafik zeigt oben das binäre Quellensignal  $q(t)$, das man ebenfalls durch die Symbolfolge  $\langle q_\nu \rangle$  mit  $q_\nu \in \{ {\rm L}, {\rm H} \}$  beschreiben kann.  In der gesamten Aufgabe gelte  $p_{\rm L} = p_{\rm H} =0.5$.

	Das codierte Signal $c(t)$ und die dazugehörige Symbolfolge $\langle c_\nu \rangle$ mit $c_\nu \in \{{\rm P}, {\rm N}, {\rm M} \}$ ergibt sich aus der AMI–Codierung (<i>Alternate Mark Inversion</i>) nach folgender Vorschrift:		Das codierte Signal  $c(t)$  und die dazugehörige Symbolfolge  $\langle c_\nu \rangle$  mit  $c_\nu \in \{{\rm P}, {\rm N}, {\rm M} \}$  ergibt sich aus der AMI–Codierung (<i>Alternate Mark Inversion</i>) nach folgender Vorschrift:

	* Das Binärsymbol $\rm L$  ⇒  <i>Low</i> wird stets durch das Ternärsymbol $\rm N$  ⇒  <i>Null</i> dargestellt.		* Das Binärsymbol  $\rm L$  ⇒  <i>Low</i> wird stets durch das Ternärsymbol  $\rm N$  ⇒  <i>Null</i>  dargestellt.
	* Das Binärsymbol $\rm H$  ⇒  <i>High</i> wird ebenfalls deterministisch, aber alternierend (daher der Name &bdquo;AMI”) durch die Symbole $\rm P$  ⇒  <i>Plus</i> und $\rm M$  ⇒  <i>Minus</i> codiert.		* Das Binärsymbol  $\rm H$  ⇒  <i>High</i>  wird ebenfalls deterministisch, aber alternierend (daher der Name &bdquo;AMI”) durch die Symbole  $\rm P$  ⇒  <i>Plus</i>  und  $\rm M$  ⇒  <i>Minus</i>  codiert.


	In dieser Aufgabe sollen die Entropienäherungen für das AMI–codierte Signal berechnet werden:		In dieser Aufgabe sollen die Entropienäherungen für das AMI–codierte Signal berechnet werden:

	* Die Näherung $H_1$ bezieht sich nur auf die Symbolwahrscheinlichkeiten $p_{\rm P}$, $p_{\rm N}$ und $p_{\rm M}$.		* Die Näherung  $H_1$  bezieht sich nur auf die Symbolwahrscheinlichkeiten  $p_{\rm P}$,  $p_{\rm N}$  und  $p_{\rm M}$.

	* Die $k$–te Entropienäherung $(k = 2, 3, \text{...} \ )$ kann nach folgender Gleichung ermittelt werden:		* Die  $k$–te Entropienäherung  $(k = 2, 3, \text{...} \ )$  kann nach folgender Gleichung ermittelt werden:
	:$$H_k = \frac{1}{k} \cdot \sum_{i=1}^{3^k} p_i^{(k)} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{p_i^{(k)}} \hspace{0.5cm}({\rm Einheit\hspace{-0.1cm}: \hspace{0.1cm}bit/Symbol})		:$$H_k = \frac{1}{k} \cdot \sum_{i=1}^{3^k} p_i^{(k)} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{p_i^{(k)}} \hspace{0.5cm}({\rm Einheit\hspace{-0.1cm}: \hspace{0.1cm}bit/Symbol})
	\hspace{0.05cm}.$$		\hspace{0.05cm}.$$
	:Hierbei bezeichnet $p_i^{(k)}$ die $i$–te Verbundwahrscheinlichkeit eines $k$–Tupels.		:Hierbei bezeichnet  $p_i^{(k)}$  die  $i$–te Verbundwahrscheinlichkeit eines  $k$–Tupels.





Zeile 26:		Zeile 29:

	''Hinweise:''		''Hinweise:''
	*Die Aufgabe gehört zum Kapitel [[Informationstheorie/Nachrichtenquellen_mit_Gedächtnis\|Nachrichtenquellen mit Gedächtnis]].		*Die Aufgabe gehört zum Kapitel  [[Informationstheorie/Nachrichtenquellen_mit_Gedächtnis\|Nachrichtenquellen mit Gedächtnis]].
	*Bezug genommen wird insbesondere auf die Seite [[Informationstheorie/Nachrichtenquellen_mit_Gedächtnis#Die_Entropie_des_AMI.E2.80.93Codes\|Die Entropie des AMI-Codes]].		*Bezug genommen wird insbesondere auf die Seite  [[Informationstheorie/Nachrichtenquellen_mit_Gedächtnis#Die_Entropie_des_AMI.E2.80.93Codes\|Die Entropie des AMI-Codes]].
	*In der [[Aufgaben:1.4Z_Entropie_der_AMI-Codierung\|Aufgabe 1.4Z]] wird die tatsächliche Entropie der Codesymbolfolge $\langle c_\nu \rangle$ zu $H = 1 \; \rm bit/Symbol$ berechnet.		*In der  [[Aufgaben:1.4Z_Entropie_der_AMI-Codierung\|Aufgabe 1.4Z]]  wird die tatsächliche Entropie der Codesymbolfolge  $\langle c_\nu \rangle$  zu  $H = 1 \; \rm bit/Symbol$  berechnet.
	*Zu erwarten sind die folgenden Größenrelationen:   $H \le$ ...$ \le H_3 \le H_2 \le H_1 \le H_0		*Zu erwarten sind die folgenden Größenrelationen:   $H \le$ ...$ \le H_3 \le H_2 \le H_1 \le H_0
	\hspace{0.05cm}.$		\hspace{0.05cm}.$
Zeile 47:		Zeile 50:


	{Wie groß ist die Entropienäherung $H_2$, basierend auf Zweiertupel?		{Wie groß ist die Entropienäherung  $H_2$, basierend auf Zweiertupel?
	\|type="{}"}		\|type="{}"}
	$H_2 \ = \ $ { 1.375 3% } $\ \rm bit/Symbol$		$H_2 \ = \ $ { 1.375 3% } $\ \rm bit/Symbol$


	{Welchen Wert liefert die Entropienäherung $H_3$, basierend auf Dreiertuptel?		{Welchen Wert liefert die Entropienäherung  $H_3$, basierend auf Dreiertuptel?
	\|type="{}"}		\|type="{}"}
	$H_3 \ = \ $ { 1.292 3% } $\ \rm bit/Symbol$		$H_3 \ = \ $ { 1.292 3% } $\ \rm bit/Symbol$


	{Welche Aussagen gelten für die Entropienäherung $H_4$?		{Welche Aussagen gelten für die Entropienäherung  $H_4$?
	\|type="[]"}		\|type="[]"}
	+ Es muss über $3^4 = 81$ Summanden gemittelt werden.		+ Es muss über  $3^4 = 81$  Summanden gemittelt werden.
	+ Es gilt $1 \; {\rm bit/Symbol} < H_4 < H_3$.		+ Es gilt  $1 \; {\rm bit/Symbol} < H_4 < H_3$.
	- Nach langer Rechnung erhält man $H_4 = 1.333 \; {\rm bit/Symbol}$.		- Nach langer Rechnung erhält man  $H_4 = 1.333 \; {\rm bit/Symbol}$.

Guenter am 18. September 2018 um 16:13 Uhr

2018-09-18T16:13:10Z

← Nächstältere Version		Version vom 18. September 2018, 18:13 Uhr
Zeile 72:		Zeile 72:
	:$$H_0 = {\rm log}_2\hspace{0.1cm} M = {\rm log}_2\hspace{0.1cm} (3) \hspace{0.15cm} \underline { = 1.585 \,{\rm bit/Symbol}}		:$$H_0 = {\rm log}_2\hspace{0.1cm} M = {\rm log}_2\hspace{0.1cm} (3) \hspace{0.15cm} \underline { = 1.585 \,{\rm bit/Symbol}}
	\hspace{0.05cm}.$$		\hspace{0.05cm}.$$


	'''(2)'''  Die Entropienäherung erster Ordnung berücksichtigt nur die Symbolwahrscheinlichkeiten $p_{\rm P}$, $p_{\rm N}$ und $p_{\rm M}$ und nicht die statistischen Bindungen innerhalb der Codefolge $\langle c_\nu \rangle$. Damit erhält man:		'''(2)'''  Die Entropienäherung erster Ordnung berücksichtigt nur die Symbolwahrscheinlichkeiten $p_{\rm P}$, $p_{\rm N}$ und $p_{\rm M}$ und nicht die statistischen Bindungen innerhalb der Codefolge $\langle c_\nu \rangle$. Damit erhält man:
Zeile 78:		Zeile 79:
	2 \cdot \frac{1}{4} \cdot {\rm log}_2\hspace{0.1cm}(4) \hspace{0.15cm} \underline {= 1.5 \,{\rm bit/Symbol}}		2 \cdot \frac{1}{4} \cdot {\rm log}_2\hspace{0.1cm}(4) \hspace{0.15cm} \underline {= 1.5 \,{\rm bit/Symbol}}
	\hspace{0.05cm}.$$		\hspace{0.05cm}.$$


	'''(3)'''  Zunächst müssen hier die $M^2 = 9$ Verbundwahrscheinlichkeiten von Zweiertupeln ermittelt werden, im Folgenden gekennzeichnet durch die beiden ersten Codesymbole $c_1$ und $c_2$:		'''(3)'''  Zunächst müssen hier die $M^2 = 9$ Verbundwahrscheinlichkeiten von Zweiertupeln ermittelt werden, im Folgenden gekennzeichnet durch die beiden ersten Codesymbole $c_1$ und $c_2$:
Zeile 94:		Zeile 96:

	Damit ist die Entropie $H_2'$ eines Zweiertupels bzw. dessen Entropie $H_2$ pro Codesymbol:		Damit ist die Entropie $H_2'$ eines Zweiertupels bzw. dessen Entropie $H_2$ pro Codesymbol:
	:$$H_2' = \frac{1}{4} \cdot {\rm log}_2\hspace{0.1cm} (4) +		:$$H_2\hspace{0.01cm}' = \frac{1}{4} \cdot {\rm log}_2\hspace{0.1cm} (4) +
	6 \cdot \frac{1}{8} \cdot {\rm log}_2\hspace{0.1cm}(8) \hspace{0.15cm} {= 2.75 \,{\rm bit/Zweiertupel}}\hspace{0.3cm}		6 \cdot \frac{1}{8} \cdot {\rm log}_2\hspace{0.1cm}(8) \hspace{0.15cm} {= 2.75 \,{\rm bit/Zweiertupel}}\hspace{0.3cm}
	\Rightarrow\hspace{0.3cm} H_2 = \frac{H_2'}{2} \hspace{0.15cm} \underline {= 1.375 \,{\rm bit/Symbol}}		\Rightarrow\hspace{0.3cm} H_2 = \frac{H_2\hspace{0.01cm}'}{2} \hspace{0.15cm} \underline {= 1.375 \,{\rm bit/Symbol}}
	\hspace{0.05cm}.$$		\hspace{0.05cm}.$$

	'''(4)'''  Die Berechnung von $H_3$ erfolgt ähnlich wie bei der letzten Teilaufgabe für $H_2$ , nur müssen nun $3^3 = 27$ Verbundwahrscheinlichkeiten ermittelt werden:
			'''(4)'''  Die Berechnung von $H_3$ erfolgt ähnlich wie bei der letzten Teilaufgabe für $H_2$, nur müssen nun $3^3 = 27$ Verbundwahrscheinlichkeiten ermittelt werden:
	:$$p_{\rm NNN} = 1/8\hspace{0.4cm}{\rm (nur \hspace{0.15cm}einmal)}		:$$p_{\rm NNN} = 1/8\hspace{0.4cm}{\rm (nur \hspace{0.15cm}einmal)}
	\hspace{0.05cm},$$		\hspace{0.05cm},$$
Zeile 111:		Zeile 114:
	\hspace{0.05cm}.$$		\hspace{0.05cm}.$$

	'''(5)'''  Richtig sind die <u>Lösungsvorschläge 1 und 2</u>. Falsch ist dagegen die Aussage 3, da $H_4$ auf jeden Fall kleiner sein muss als $H_3 = 1.292 \; \rm bit/Symbol$.
			'''(5)'''  Richtig sind die <u>Lösungsvorschläge 1 und 2</u>.
			*Falsch ist dagegen die Aussage 3, da $H_4$ auf jeden Fall kleiner sein muss als $H_3 = 1.292 \; \rm bit/Symbol$.
	{{ML-Fuß}}		{{ML-Fuß}}

Guenter am 18. September 2018 um 16:07 Uhr

2018-09-18T16:07:11Z

← Nächstältere Version		Version vom 18. September 2018, 18:07 Uhr
Zeile 3:		Zeile 3:
	}}		}}

	[[Datei:P_ID2248__Inf_A_1_4.png\|right\|Binäres Quellensignal und ternäres Codersignal]]		[[Datei:P_ID2248__Inf_A_1_4.png\|right\|frame\|Binäres Quellensignal (oben) und <br>ternäres Codersignal (unten)]]
	Die Grafik zeigt oben das binäre Quellensignal $q(t)$, das man ebenfalls durch die Symbolfolge $\langle q_\nu \rangle$ mit $q_\nu \in \{ {\rm L}, {\rm H} \}$ beschreiben kann. In der gesamten Aufgabe gelte $p_{\rm L} = p_{\rm H} =0.5$.		Die Grafik zeigt oben das binäre Quellensignal $q(t)$, das man ebenfalls durch die Symbolfolge $\langle q_\nu \rangle$ mit $q_\nu \in \{ {\rm L}, {\rm H} \}$ beschreiben kann. In der gesamten Aufgabe gelte $p_{\rm L} = p_{\rm H} =0.5$.

Zeile 10:		Zeile 10:
	* Das Binärsymbol $\rm L$  ⇒  <i>Low</i> wird stets durch das Ternärsymbol $\rm N$  ⇒  <i>Null</i> dargestellt.		* Das Binärsymbol $\rm L$  ⇒  <i>Low</i> wird stets durch das Ternärsymbol $\rm N$  ⇒  <i>Null</i> dargestellt.
	* Das Binärsymbol $\rm H$  ⇒  <i>High</i> wird ebenfalls deterministisch, aber alternierend (daher der Name &bdquo;AMI”) durch die Symbole $\rm P$  ⇒  <i>Plus</i> und $\rm M$  ⇒  <i>Minus</i> codiert.		* Das Binärsymbol $\rm H$  ⇒  <i>High</i> wird ebenfalls deterministisch, aber alternierend (daher der Name &bdquo;AMI”) durch die Symbole $\rm P$  ⇒  <i>Plus</i> und $\rm M$  ⇒  <i>Minus</i> codiert.


	In dieser Aufgabe sollen die Entropienäherungen für das AMI–codierte Signal berechnet werden:		In dieser Aufgabe sollen die Entropienäherungen für das AMI–codierte Signal berechnet werden:
Zeile 15:		Zeile 16:
	* Die Näherung $H_1$ bezieht sich nur auf die Symbolwahrscheinlichkeiten $p_{\rm P}$, $p_{\rm N}$ und $p_{\rm M}$.		* Die Näherung $H_1$ bezieht sich nur auf die Symbolwahrscheinlichkeiten $p_{\rm P}$, $p_{\rm N}$ und $p_{\rm M}$.

	* Die $k$–te Entropienäherung ($k = 2, 3$, ... ) kann nach folgender Gleichung ermittelt werden:		* Die $k$–te Entropienäherung $(k = 2, 3, \text{...} \ )$ kann nach folgender Gleichung ermittelt werden:
	:$$H_k = \frac{1}{k} \cdot \sum_{i=1}^{3^k} p_i^{(k)} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{p_i^{(k)}} \hspace{0.5cm}({\rm Einheit\hspace{-0.1cm}: \hspace{0.1cm}bit/Symbol})		:$$H_k = \frac{1}{k} \cdot \sum_{i=1}^{3^k} p_i^{(k)} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{p_i^{(k)}} \hspace{0.5cm}({\rm Einheit\hspace{-0.1cm}: \hspace{0.1cm}bit/Symbol})
	\hspace{0.05cm}.$$		\hspace{0.05cm}.$$
	:Hierbei bezeichnet $p_i^{(k)}$ die $i$–te Verbundwahrscheinlichkeit eines $k$–Tupels.		:Hierbei bezeichnet $p_i^{(k)}$ die $i$–te Verbundwahrscheinlichkeit eines $k$–Tupels.





Zeile 25:		Zeile 29:
	*Bezug genommen wird insbesondere auf die Seite [[Informationstheorie/Nachrichtenquellen_mit_Gedächtnis#Die_Entropie_des_AMI.E2.80.93Codes\|Die Entropie des AMI-Codes]].		*Bezug genommen wird insbesondere auf die Seite [[Informationstheorie/Nachrichtenquellen_mit_Gedächtnis#Die_Entropie_des_AMI.E2.80.93Codes\|Die Entropie des AMI-Codes]].
	*In der [[Aufgaben:1.4Z_Entropie_der_AMI-Codierung\|Aufgabe 1.4Z]] wird die tatsächliche Entropie der Codesymbolfolge $\langle c_\nu \rangle$ zu $H = 1 \; \rm bit/Symbol$ berechnet.		*In der [[Aufgaben:1.4Z_Entropie_der_AMI-Codierung\|Aufgabe 1.4Z]] wird die tatsächliche Entropie der Codesymbolfolge $\langle c_\nu \rangle$ zu $H = 1 \; \rm bit/Symbol$ berechnet.
	*Zu erwarten sind die folgenden Größenrelationen: $H \le$ ...$ \le H_3 \le H_2 \le H_1 \le H_0		*Zu erwarten sind die folgenden Größenrelationen:   $H \le$ ...$ \le H_3 \le H_2 \le H_1 \le H_0
	\hspace{0.05cm}.$		\hspace{0.05cm}.$

Zeile 35:		Zeile 39:
	{Wie groß ist der Entscheidungsgehalt des AMI–Codes?		{Wie groß ist der Entscheidungsgehalt des AMI–Codes?
	\|type="{}"}		\|type="{}"}
	$H_0 \ = $ { 1.585 3% } $\ \rm bit/Symbol$		$H_0 \ = \ $ { 1.585 3% } $\ \rm bit/Symbol$


	{Berechnen Sie die erste Entropienäherung des AMI–Codes.		{Berechnen Sie die erste Entropienäherung des AMI–Codes.
	\|type="{}"}		\|type="{}"}
	$H_1 \ = $ { 1.5 3% } $\ \rm bit/Symbol$		$H_1 \ = \ $ { 1.5 3% } $\ \rm bit/Symbol$


	{Wie groß ist die Entropienäherung $H_2$, basierend auf Zweiertupel?		{Wie groß ist die Entropienäherung $H_2$, basierend auf Zweiertupel?
	\|type="{}"}		\|type="{}"}
	$H_2 \ = $ { 1.375 3% } $\ \rm bit/Symbol$		$H_2 \ = \ $ { 1.375 3% } $\ \rm bit/Symbol$


	{Welchen Wert liefert die Entropienäherung $H_3$, basierend auf Dreiertuptel?		{Welchen Wert liefert die Entropienäherung $H_3$, basierend auf Dreiertuptel?
	\|type="{}"}		\|type="{}"}
	$H_3 \ = $ { 1.292 3% } $\ \rm bit/Symbol$		$H_3 \ = \ $ { 1.292 3% } $\ \rm bit/Symbol$

Mwiki-lnt: Textersetzung - „*Sollte die Eingabe des Zahlenwertes „0” erforderlich sein, so geben Sie bitte „0.” ein.“ durch „ “

2018-05-29T12:02:37Z

Textersetzung - „*Sollte die Eingabe des Zahlenwertes „0” erforderlich sein, so geben Sie bitte „0.” ein.“ durch „ “

← Nächstältere Version		Version vom 29. Mai 2018, 14:02 Uhr
Zeile 27:		Zeile 27:
	*Zu erwarten sind die folgenden Größenrelationen: $H \le$ ...$ \le H_3 \le H_2 \le H_1 \le H_0		*Zu erwarten sind die folgenden Größenrelationen: $H \le$ ...$ \le H_3 \le H_2 \le H_1 \le H_0
	\hspace{0.05cm}.$		\hspace{0.05cm}.$
	*Sollte die Eingabe des Zahlenwertes &bdquo;0” erforderlich sein, so geben Sie bitte &bdquo;0.” ein.

Guenter: Guenter verschob die Seite Aufgaben:1.4 Entropienäherungen für den AMI-Code nach Aufgaben:Aufgabe 1.4: Entropienäherungen für den AMI-Code

2018-01-03T13:54:12Z

Guenter verschob die Seite Aufgaben:1.4 Entropienäherungen für den AMI-Code nach Aufgaben:Aufgabe 1.4: Entropienäherungen für den AMI-Code

← Nächstältere Version	Version vom 3. Januar 2018, 15:54 Uhr
(kein Unterschied)

Guenter am 28. April 2017 um 15:01 Uhr

2017-04-28T15:01:23Z

← Nächstältere Version		Version vom 28. April 2017, 17:01 Uhr
Zeile 23:		Zeile 23:
	''Hinweise:''		''Hinweise:''
	*Die Aufgabe gehört zum Kapitel [[Informationstheorie/Nachrichtenquellen_mit_Gedächtnis\|Nachrichtenquellen mit Gedächtnis]].		*Die Aufgabe gehört zum Kapitel [[Informationstheorie/Nachrichtenquellen_mit_Gedächtnis\|Nachrichtenquellen mit Gedächtnis]].
	*~~Sollte~~ die ~~Eingabe~~ des ~~Zahlenwertes &bdquo;0” erforderlich sein, so geben Sie bitte &bdquo;0.” ein~~.		*Bezug genommen wird insbesondere auf die Seite [[Informationstheorie/Nachrichtenquellen_mit_Gedächtnis#Die_Entropie_des_AMI.E2.80.93Codes\|Die Entropie des AMI-Codes]].
	*In der [[Aufgaben:1.4Z_Entropie_der_AMI-Codierung\|Aufgabe 1.4Z]] wird die tatsächliche Entropie der Codesymbolfolge $\langle c_\nu \rangle$ zu $H = 1 \; \rm bit/Symbol$ berechnet.		*In der [[Aufgaben:1.4Z_Entropie_der_AMI-Codierung\|Aufgabe 1.4Z]] wird die tatsächliche Entropie der Codesymbolfolge $\langle c_\nu \rangle$ zu $H = 1 \; \rm bit/Symbol$ berechnet.
	*Zu erwarten sind die folgenden Größenrelationen: $H \le$ ...$ \le H_3 \le H_2 \le H_1 \le H_0		*Zu erwarten sind die folgenden Größenrelationen: $H \le$ ...$ \le H_3 \le H_2 \le H_1 \le H_0
	\hspace{0.05cm}.$		\hspace{0.05cm}.$
			*Sollte die Eingabe des Zahlenwertes &bdquo;0” erforderlich sein, so geben Sie bitte &bdquo;0.” ein.


Zeile 64:		Zeile 65:
	===Musterlösung===		===Musterlösung===
	{{ML-Kopf}}		{{ML-Kopf}}
	~~:<b>~~1~~.</b> ~~ Der Symbolumfang beträgt ~~<i>~~M~~</i>~~ = 3. Daraus ergibt sich der Entscheidungsgehalt mit dem <i>Logarithmus dualis</i> zur Basis 2 ~~(log<sub>2</sub> oder~~ &~~bdquo~~;ld&~~rdquo~~;):		'''(1)'''  Der Symbolumfang beträgt $M = 3$. Daraus ergibt sich der Entscheidungsgehalt mit dem <i>Logarithmus dualis</i> zur Basis 2   ⇒   $\log_2$ bzw $\rm ld$:
	:$$H_0 = {\rm log}_2\hspace{0.1cm} M = {\rm log}_2\hspace{0.1cm} (3) \hspace{0.15cm} \underline { = 1.585 \,{\rm bit/Symbol}}		:$$H_0 = {\rm log}_2\hspace{0.1cm} M = {\rm log}_2\hspace{0.1cm} (3) \hspace{0.15cm} \underline { = 1.585 \,{\rm bit/Symbol}}
	\hspace{0.05cm}.$$		\hspace{0.05cm}.$$

	~~:<b>~~2~~.</b> ~~ Die Entropienäherung erster Ordnung berücksichtigt nur die Symbolwahrscheinlichkeiten ~~<i>p</i><sub>~~P~~</sub>~~, ~~<i>p</i><sub>~~N~~</sub>~~ und ~~<i>p</i><sub>~~M~~</sub>~~ und nicht die statistischen Bindungen innerhalb der Codefolge ~~〈<i>c<sub>&~~nu~~;</sub></i>〉~~. Damit erhält man:		'''(2)'''  Die Entropienäherung erster Ordnung berücksichtigt nur die Symbolwahrscheinlichkeiten $p_{\rm P}$, $p_{\rm N}$ und $p_{\rm M}$ und nicht die statistischen Bindungen innerhalb der Codefolge $\langle c_\nu \rangle$. Damit erhält man:
	:$$p_{\rm N} = p_{\rm L} = 1/2\hspace{0.05cm},\hspace{0.2cm}p_{\rm P} = p_{\rm M} = p_{\rm H}/2 = 1/4$$		:$$p_{\rm N} = p_{\rm L} = 1/2\hspace{0.05cm},\hspace{0.2cm}p_{\rm P} = p_{\rm M} = p_{\rm H}/2 = 1/4 \hspace{0.3cm}
	~~:$$~~\Rightarrow\hspace{0.3cm} H_1 = \frac{1}{2} \cdot {\rm log}_2\hspace{0.1cm} (2) +		\Rightarrow\hspace{0.3cm} H_1 = \frac{1}{2} \cdot {\rm log}_2\hspace{0.1cm} (2) +
	2 \cdot \frac{1}{4} \cdot {\rm log}_2\hspace{0.1cm}(4) \hspace{0.15cm} \underline {= 1.5 \,{\rm bit/Symbol}}		2 \cdot \frac{1}{4} \cdot {\rm log}_2\hspace{0.1cm}(4) \hspace{0.15cm} \underline {= 1.5 \,{\rm bit/Symbol}}
	\hspace{0.05cm}.$$		\hspace{0.05cm}.$$

	~~:<b>~~3~~.</b> ~~ Zunächst müssen hier die ~~<i>~~M~~</i><sup>~~2~~</sup>~~ = 9 Verbundwahrscheinlichkeiten von Zweiertupeln ermittelt werden, im Folgenden gekennzeichnet durch die beiden ersten Codesymbole ~~<i>c</i><sub>1</sub>~~ und ~~<i>c</i><sub>2</sub>~~:		'''(3)'''  Zunächst müssen hier die $M^2 = 9$ Verbundwahrscheinlichkeiten von Zweiertupeln ermittelt werden, im Folgenden gekennzeichnet durch die beiden ersten Codesymbole $c_1$ und $c_2$:
			* Da beim AMI–Code weder $\rm P$ auf $\rm P$ noch $\rm M$ auf $\rm M$ folgen kann, ist $p_{\rm PP} = p_{\rm MM} =0$.
	:* Da beim AMI–Code weder ~~<b>~~P~~</b>~~ auf ~~<b>~~P~~</b>~~ noch ~~<b>~~M~~</b>~~ auf ~~<b>~~M~~</b>~~ folgen kann, ist ~~<i>p</i><sub>~~PP~~</sub>~~ = ~~<i>p</i><sub>~~MM~~</sub>~~ = 0.		* Für die Verbundwahrscheinlichkeiten unter der Bedingung $c_2 = \rm N$ gilt:
			:$$p_{\rm NN} \hspace{0.1cm} = \hspace{0.1cm} {\rm Pr}( c_1 = \mathbf{N}) \cdot {\rm Pr}(c_2 = \mathbf{N}\hspace{0.05cm} \| c_1 = \mathbf{N}) = 1/2 \cdot 1/2 = 1/4 \hspace{0.05cm},$$
	:* Für die Verbundwahrscheinlichkeiten unter der Bedingung ~~<i>c</i><sub>2</sub>~~ = ~~<b>~~N~~</b>~~ gilt:		:$$ p_{\rm MN} \hspace{0.1cm} = \hspace{0.1cm} {\rm Pr}( c_1 = \mathbf{M}) \cdot {\rm Pr}(c_2 = \mathbf{N}\hspace{0.05cm} \| c_1 = \mathbf{M}) = 1/4 \cdot 1/2 = 1/8 \hspace{0.05cm},$$
	:$$p_{\rm NN} \hspace{0.1cm} = \hspace{0.1cm} {\rm Pr}( c_1 = \mathbf{N}) \cdot {\rm Pr}(c_2 = \mathbf{N}\hspace{0.05cm} \| c_1 = \mathbf{N}) = 1/2 \cdot 1/2 = 1/4 \hspace{0.05cm},\\		:$$ p_{\rm PN} \hspace{0.1cm} = \hspace{0.1cm} {\rm Pr}( c_1 = \mathbf{P}) \cdot {\rm Pr}(c_2 = \mathbf{N}\hspace{0.05cm} \| c_1 = \mathbf{P}) = 1/4 \cdot 1/2 = 1/8
	p_{\rm MN} \hspace{0.1cm} = \hspace{0.1cm} {\rm Pr}( c_1 = \mathbf{M}) \cdot {\rm Pr}(c_2 = \mathbf{N}\hspace{0.05cm} \| c_1 = \mathbf{M}) = 1/4 \cdot 1/2 = 1/8 \hspace{0.05cm},\\
	p_{\rm PN} \hspace{0.1cm} = \hspace{0.1cm} {\rm Pr}( c_1 = \mathbf{P}) \cdot {\rm Pr}(c_2 = \mathbf{N}\hspace{0.05cm} \| c_1 = \mathbf{P}) = 1/4 \cdot 1/2 = 1/8
	\hspace{0.05cm}.$$		\hspace{0.05cm}.$$
			* Die Verbundwahrscheinlichkeiten der Zweiertupel $\rm PM$ und $\rm MP$ lauten:
			:$$p_{\rm PM} \hspace{0.1cm} = \hspace{0.1cm} {\rm Pr}( c_1 = \mathbf{P}) \cdot {\rm Pr}(c_2 = \mathbf{M}\hspace{0.05cm} \| c_1 = \mathbf{P}) = 1/4 \cdot 1/2 = 1/8 \hspace{0.05cm},$$
			:$$ p_{\rm MP} \hspace{0.1cm} = \hspace{0.1cm} {\rm Pr}( c_1 = \mathbf{M}) \cdot {\rm Pr}(c_2 = \mathbf{P}\hspace{0.05cm} \| c_1 = \mathbf{M}) = 1/4 \cdot 1/2 = 1/8 \hspace{0.05cm}.$$
			* Bei den restlichen Wahrscheinlichkeiten muss zusätzlich berücksichtigt werden, ob beim letzten Mal das Binärsymbol $\rm H$ mit $\rm P$ oder mit $\rm M$ codiert wurde  ⇒  weiterer Faktor $1/2$:
			:$$p_{\rm NM} \hspace{0.1cm} = \hspace{0.1cm} {\rm Pr}( c_1 = \mathbf{N}) \cdot {\rm Pr}(c_2 = \mathbf{M}\hspace{0.05cm} \| c_1 = \mathbf{N}) = 1/2 \cdot 1/2 \cdot 1/2= 1/8 \hspace{0.05cm},$$
			:$$ p_{\rm NP} \hspace{0.1cm} = \hspace{0.1cm} {\rm Pr}( c_1 = \mathbf{N}) \cdot {\rm Pr}(c_2 = \mathbf{P}\hspace{0.05cm} \| c_1 = \mathbf{N}) = 1/2 \cdot 1/2 \cdot 1/2 = 1/8 \hspace{0.05cm}.$$

	~~:* Die Verbundwahrscheinlichkeiten der Zweiertupel &bdquo;PM” und &bdquo;MP” lauten:~~		Damit ist die Entropie $H_2'$ eines Zweiertupels bzw. dessen Entropie $H_2$ pro Codesymbol:
	~~:$$p_{\rm PM} \hspace{0.1cm} = \hspace{0.1cm} {\rm Pr}( c_1 = \mathbf{P}) \cdot {\rm Pr}(c_2 = \mathbf{M}\hspace{0.05cm} \| c_1 = \mathbf{P}) = 1/4 \cdot 1/2 = 1/8 \hspace{0.05cm},\\~~
	~~p_{\rm MP} \hspace{0.1cm} = \hspace{0.1cm} {\rm Pr}( c_1 = \mathbf{M}) \cdot {\rm Pr}(c_2 = \mathbf{P}\hspace{0.05cm} \| c_1 = \mathbf{M}) = 1/4 \cdot 1/2 = 1/8 \hspace{0.05cm}.$$~~

	:* Bei den restlichen Wahrscheinlichkeiten muss zusätzlich berücksichtigt werden, ob beim letzten Mal das Binärsymbol <b>H</b> mit <b>P</b> oder mit <b>M</b> codiert wurde  ⇒  weiterer Faktor 1/2:
	~~:$$p_{\rm NM} \hspace{0.1cm} = \hspace{0.1cm} {\rm Pr}( c_1 = \mathbf{N}) \cdot {\rm Pr}(c_2 = \mathbf{M}\hspace{0.05cm} \| c_1 = \mathbf{N}) = 1/2 \cdot 1/2 \cdot 1/2= 1/8 \hspace{0.05cm},\\~~
	~~p_{\rm NP} \hspace{0.1cm} = \hspace{0.1cm} {\rm Pr}( c_1 = \mathbf{N}) \cdot {\rm Pr}(c_2 = \mathbf{P}\hspace{0.05cm} \| c_1 = \mathbf{N}) = 1/2 \cdot 1/2 \cdot 1/2 = 1/8 \hspace{0.05cm}.$$~~

	:Damit ist die Entropie ~~<i>H</i><sub>2</sub>~~' eines Zweiertupels bzw. dessen Entropie ~~<i>H</i><sub>2</sub>~~ pro Codesymbol:
	:$$H_2' = \frac{1}{4} \cdot {\rm log}_2\hspace{0.1cm} (4) +		:$$H_2' = \frac{1}{4} \cdot {\rm log}_2\hspace{0.1cm} (4) +
	6 \cdot \frac{1}{8} \cdot {\rm log}_2\hspace{0.1cm}(8) \hspace{0.15cm} {= 2.75 \,{\rm bit/Zweiertupel}}$$		6 \cdot \frac{1}{8} \cdot {\rm log}_2\hspace{0.1cm}(8) \hspace{0.15cm} {= 2.75 \,{\rm bit/Zweiertupel}}\hspace{0.3cm}
	~~:$$~~\Rightarrow\hspace{0.3cm} H_2 = \frac{H_2'}{2} \hspace{0.15cm} \underline {= 1.375 \,{\rm bit/Symbol}}		\Rightarrow\hspace{0.3cm} H_2 = \frac{H_2'}{2} \hspace{0.15cm} \underline {= 1.375 \,{\rm bit/Symbol}}
	\hspace{0.05cm}.$$		\hspace{0.05cm}.$$

	~~:<b>~~4~~.</b> ~~ Die Berechnung von ~~<i>H</i><sub>3</sub>~~ erfolgt ähnlich wie bei der letzten Teilaufgabe für ~~<i>H</i><sub>2</sub>~~, nur müssen nun 3~~<sup>~~3~~</sup>~~ = 27 Verbundwahrscheinlichkeiten ermittelt werden:		'''(4)'''  Die Berechnung von $H_3$ erfolgt ähnlich wie bei der letzten Teilaufgabe für $H_2$ , nur müssen nun $3^3 = 27$ Verbundwahrscheinlichkeiten ermittelt werden:
	:$$p_{\rm NNN} = 1/8\hspace{0.4cm}{\rm (nur \hspace{0.15cm}einmal)}		:$$p_{\rm NNN} = 1/8\hspace{0.4cm}{\rm (nur \hspace{0.15cm}einmal)}
	\hspace{0.05cm},$$		\hspace{0.05cm},$$
Zeile 110:		Zeile 107:
	\hspace{0.05cm}.$$		\hspace{0.05cm}.$$

	~~:<b>~~5~~.</b> ~~ Richtig sind die <u>Lösungsvorschläge 1 und 2</u>. Falsch ist dagegen die Aussage 3, da ~~<i>H</i><sub>4</sub>~~ auf jeden Fall kleiner sein muss als ~~<i>H</i><sub>3</sub>~~ = 1.292 bit/Symbol.		'''(5)'''  Richtig sind die <u>Lösungsvorschläge 1 und 2</u>. Falsch ist dagegen die Aussage 3, da $H_4$ auf jeden Fall kleiner sein muss als $H_3 = 1.292 \; \rm bit/Symbol$.
	{{ML-Fuß}}		{{ML-Fuß}}