Aufgaben:Aufgabe 1.5Z: Symmetrische Markovquelle - Versionsgeschichte

Maintenance script: Add English interlanguage link

2026-03-16T12:34:58Z

Add English interlanguage link

← Nächstältere Version		Version vom 16. März 2026, 14:34 Uhr
Zeile 121:		Zeile 121:

	[[Category:Aufgaben zu Informationstheorie\|^1.2 Nachrichtenquellen mit Gedächtnis^]]		[[Category:Aufgaben zu Informationstheorie\|^1.2 Nachrichtenquellen mit Gedächtnis^]]
			[[en:Aufgaben:Exercise_1.5Z:_Symmetrical_Markov_Source]]

Maintenance script: Join multi-line formulas for MW 1.43 parser compat

2026-02-24T13:38:31Z

Join multi-line formulas for MW 1.43 parser compat

← Nächstältere Version		Version vom 24. Februar 2026, 15:38 Uhr
Zeile 5:		Zeile 5:
	[[Datei:Inf_Z_1_5_vers2.png\|right\|frame\|Binäre symmetrische Markovquelle]]		[[Datei:Inf_Z_1_5_vers2.png\|right\|frame\|Binäre symmetrische Markovquelle]]
	In der  [[Aufgaben:1.5_Binäre_Markovquelle\|Aufgabe 1.5]]  wurde eine binäre Markovquelle behandelt, bei der die Übergangswahrscheinlichkeiten von  $\rm A$  nach  $\rm B$  und von  $\rm B$  nach  $\rm A$  unterschiedlich waren.  In dieser Aufgabe soll nun gelten:		In der  [[Aufgaben:1.5_Binäre_Markovquelle\|Aufgabe 1.5]]  wurde eine binäre Markovquelle behandelt, bei der die Übergangswahrscheinlichkeiten von  $\rm A$  nach  $\rm B$  und von  $\rm B$  nach  $\rm A$  unterschiedlich waren.  In dieser Aufgabe soll nun gelten:
	:$$p_{\rm A\hspace{0.01cm}\|\hspace{0.01cm}B} = p_{\rm B\hspace{0.01cm}\|\hspace{0.01cm}A} = q \hspace{0.8cm} ( 0 \le q \le 1)		:$$p_{\rm A\hspace{0.01cm}\|\hspace{0.01cm}B} = p_{\rm B\hspace{0.01cm}\|\hspace{0.01cm}A} = q \hspace{0.8cm} ( 0 \le q \le 1)\hspace{0.05cm}.$$
	\hspace{0.05cm}.$$

	Alle in der Aufgabe 1.5 angegebenen Gleichungen gelten auch hier:		Alle in der Aufgabe 1.5 angegebenen Gleichungen gelten auch hier:

	* <b>Entropie:</b>		* <b>Entropie:</b>
	:$$H = p_{\rm AA} \cdot {\rm log_2}\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}\|\hspace{0.01cm}A}} + p_{\rm AB} \cdot {\rm log_2}\hspace{0.1cm}\frac {1}{ p_{\rm B\hspace{0.01cm}\|\hspace{0.01cm}A}} + p_{\rm BA} \cdot {\rm log_2}\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}\|\hspace{0.01cm}B}} + p_{\rm BB} \cdot {\rm log_2}\hspace{0.1cm}\frac {1}{ p_{\rm B\hspace{0.01cm}\|\hspace{0.01cm}B}}		:$$H = p_{\rm AA} \cdot {\rm log_2}\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}\|\hspace{0.01cm}A}} + p_{\rm AB} \cdot {\rm log_2}\hspace{0.1cm}\frac {1}{ p_{\rm B\hspace{0.01cm}\|\hspace{0.01cm}A}} + p_{\rm BA} \cdot {\rm log_2}\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}\|\hspace{0.01cm}B}} + p_{\rm BB} \cdot {\rm log_2}\hspace{0.1cm}\frac {1}{ p_{\rm B\hspace{0.01cm}\|\hspace{0.01cm}B}}\hspace{0.05cm}.$$
	\hspace{0.05cm}.$$

	* <b>Erste Entropienäherung</b>:		* <b>Erste Entropienäherung</b>:
	:$$H_{\rm 1} = p_{\rm A} \cdot {\rm log_2}\hspace{0.1cm} \frac{1}{p_{\rm A}} + p_{\rm B} \cdot {\rm log_2}\hspace{0.1cm} \frac{1}{p_{\rm B}}		:$$H_{\rm 1} = p_{\rm A} \cdot {\rm log_2}\hspace{0.1cm} \frac{1}{p_{\rm A}} + p_{\rm B} \cdot {\rm log_2}\hspace{0.1cm} \frac{1}{p_{\rm B}} \hspace{0.05cm}.$$
	\hspace{0.05cm}.$$

	* <b><i>k</i>–te Entropienäherung</b> $(k = 2, 3, \ \text{...})$:		* <b><i>k</i>–te Entropienäherung</b> $(k = 2, 3, \ \text{...})$:
	:$$H_k = {1}/{k} \cdot \big [ H_{\rm 1} + (k-1) \cdot H \big]		:$$H_k = {1}/{k} \cdot \big [ H_{\rm 1} + (k-1) \cdot H \big] \hspace{0.05cm},\hspace{0.5cm}H = \lim_{k \rightarrow \infty } H_k \hspace{0.05cm}.$$
	\hspace{0.05cm},\hspace{0.5cm}H = \lim_{k \rightarrow \infty } H_k \hspace{0.05cm}.$$


Zeile 82:		Zeile 78:
	{{ML-Kopf}}		{{ML-Kopf}}
	'''(1)'''  Bei einer stationären binären Markovquelle erster Ordnung gilt:		'''(1)'''  Bei einer stationären binären Markovquelle erster Ordnung gilt:
	:$$p_{\rm A} = p_{\rm A\hspace{0.01cm}\|\hspace{0.01cm}A} \cdot p_{\rm A} + p_{\rm A\hspace{0.01cm}\|\hspace{0.01cm}B} \cdot p_{\rm B}		:$$p_{\rm A} = p_{\rm A\hspace{0.01cm}\|\hspace{0.01cm}A} \cdot p_{\rm A} + p_{\rm A\hspace{0.01cm}\|\hspace{0.01cm}B} \cdot p_{\rm B}= (1-q) \cdot p_{\rm A} + q \cdot p_{\rm B}$$
	= (1-q) \cdot p_{\rm A} + q \cdot p_{\rm B}$$		:$$\Rightarrow \hspace{0.3cm}q \cdot p_{\rm A} = q \cdot p_{\rm B} \hspace{0.3cm} \Rightarrow \hspace{0.3cm}p_{\rm A} = p_{\rm B}\hspace{0.15cm} \underline {= 0.5} \hspace{0.05cm}.$$
	:$$\Rightarrow \hspace{0.3cm}q \cdot p_{\rm A} = q \cdot p_{\rm B} \hspace{0.3cm} \Rightarrow \hspace{0.3cm}p_{\rm A} = p_{\rm B}\hspace{0.15cm} \underline {= 0.5}
	\hspace{0.05cm}.$$



	'''(2)'''  Zur Berechnung der Entropie  $H$  benötigt man alle vier Verbundwahrscheinlichkeiten:		'''(2)'''  Zur Berechnung der Entropie  $H$  benötigt man alle vier Verbundwahrscheinlichkeiten:
	:$$p_{\rm AA} \hspace{0.1cm} = \hspace{0.1cm} p_{\rm A} \cdot p_{\rm A\hspace{0.01cm}\|\hspace{0.01cm}A} = 1/2 \cdot(1-q) = p_{\rm BB}\hspace{0.05cm},\hspace{1cm}		:$$p_{\rm AA} \hspace{0.1cm} = \hspace{0.1cm} p_{\rm A} \cdot p_{\rm A\hspace{0.01cm}\|\hspace{0.01cm}A} = 1/2 \cdot(1-q) = p_{\rm BB}\hspace{0.05cm},\hspace{1cm} p_{\rm AB} \hspace{0.1cm} = \hspace{0.1cm} p_{\rm A} \cdot p_{\rm B\hspace{0.01cm}\|\hspace{0.01cm}A} = 1/2 \cdot q = p_{\rm BA}\hspace{0.05cm}.$$
	p_{\rm AB} \hspace{0.1cm} = \hspace{0.1cm} p_{\rm A} \cdot p_{\rm B\hspace{0.01cm}\|\hspace{0.01cm}A} = 1/2 \cdot q = p_{\rm BA}\hspace{0.05cm}.$$
	*Setzt man diese Werte in die gegebene Entropie–Gleichung ein, so erhält man		*Setzt man diese Werte in die gegebene Entropie–Gleichung ein, so erhält man
	:$$H = 2 \cdot \frac{1}{2} \cdot(1-q) \cdot		:$$H = 2 \cdot \frac{1}{2} \cdot(1-q) \cdot {\rm log}_2\hspace{0.1cm} \frac{1}{1-q} + 2 \cdot \frac{1}{2} \cdot q \cdot {\rm log}_2\hspace{0.1cm} \frac{1}{q} = q \cdot {\rm log}_2\hspace{0.1cm} \frac{1}{q} + (1-q) \cdot {\rm log}_2\hspace{0.1cm} \frac{1}{1-q} = H_{\rm bin}(q) \hspace{0.05cm}.$$
	{\rm log}_2\hspace{0.1cm} \frac{1}{1-q} + 2 \cdot \frac{1}{2} \cdot q \cdot
	{\rm log}_2\hspace{0.1cm} \frac{1}{q} = q \cdot {\rm log}_2\hspace{0.1cm} \frac{1}{q} + (1-q) \cdot {\rm log}_2\hspace{0.1cm} \frac{1}{1-q} = H_{\rm bin}(q) \hspace{0.05cm}.$$
	*Der gesuchte Zahlenwert ist  $H = H_{\rm bin} (0.25) \hspace{0.15cm}\underline{= 0.811 \, \rm bit/Symbol}$.		*Der gesuchte Zahlenwert ist  $H = H_{\rm bin} (0.25) \hspace{0.15cm}\underline{= 0.811 \, \rm bit/Symbol}$.

Zeile 102:		Zeile 93:
	'''(3)'''  Bei gleichwahrscheinlichen Binärsymbolen ist  $H_1 \hspace{0.15cm}\underline{= 1 \, \rm bit/Symbol}$.		'''(3)'''  Bei gleichwahrscheinlichen Binärsymbolen ist  $H_1 \hspace{0.15cm}\underline{= 1 \, \rm bit/Symbol}$.
	*Mit der für Markovquellen gültigen Gleichung gilt weiter:		*Mit der für Markovquellen gültigen Gleichung gilt weiter:
	:$$H_2 \hspace{0.1cm} = \hspace{0.1cm} {1}/{2} \cdot \big[ H_1 + H \big] \hspace{0.15cm} \underline {= 0.906 \,{\rm bit/Symbol}}		:$$H_2 \hspace{0.1cm} = \hspace{0.1cm} {1}/{2} \cdot \big[ H_1 + H \big] \hspace{0.15cm} \underline {= 0.906 \,{\rm bit/Symbol}} \hspace{0.05cm},$$
	\hspace{0.05cm},$$		:$$ H_3 \hspace{0.1cm} = \hspace{0.1cm} {1}/{3} \cdot \big[ H_1 + 2 H \big] \hspace{0.15cm} \underline {= 0.874 \,{\rm bit/Symbol}} \hspace{0.05cm}.$$
	:$$ H_3 \hspace{0.1cm} = \hspace{0.1cm} {1}/{3} \cdot \big[ H_1 + 2 H \big] \hspace{0.15cm} \underline {= 0.874 \,{\rm bit/Symbol}}
	\hspace{0.05cm}.$$


Zeile 112:		Zeile 101:
	*Damit beträgt die maximale Entropie  $H = 1 \, \rm bit/Symbol$.		*Damit beträgt die maximale Entropie  $H = 1 \, \rm bit/Symbol$.
	*Man erkennt aus der Beziehung  $H = H_1$  und aus dem vorne abgebildeten Übergangsdiagramm, dass  $q = 0.5$  statistisch unabhängige Symbole zur Folge hat:		*Man erkennt aus der Beziehung  $H = H_1$  und aus dem vorne abgebildeten Übergangsdiagramm, dass  $q = 0.5$  statistisch unabhängige Symbole zur Folge hat:
	:$$p_{\rm A} = p_{\rm A\hspace{0.01cm}\|\hspace{0.01cm}A} = p_{\rm A\hspace{0.01cm}\|\hspace{0.01cm}B} = 0.5		:$$p_{\rm A} = p_{\rm A\hspace{0.01cm}\|\hspace{0.01cm}A} = p_{\rm A\hspace{0.01cm}\|\hspace{0.01cm}B} = 0.5\hspace{0.05cm}, \hspace{0.2cm} p_{\rm B} = p_{\rm B\hspace{0.01cm}\|\hspace{0.01cm}A} = p_{\rm B\hspace{0.01cm}\|\hspace{0.01cm}B}= 0.5\hspace{0.05cm}.$$
	\hspace{0.05cm}, \hspace{0.2cm} p_{\rm B} = p_{\rm B\hspace{0.01cm}\|\hspace{0.01cm}A} = p_{\rm B\hspace{0.01cm}\|\hspace{0.01cm}B}= 0.5
	\hspace{0.05cm}.$$

Guenter am 21. Juni 2021 um 08:25 Uhr

2021-06-21T08:25:03Z

← Nächstältere Version		Version vom 21. Juni 2021, 10:25 Uhr
Zeile 3:		Zeile 3:
	}}		}}

	[[Datei:Inf_Z_1_5_vers2.png\|right\|frame\|~~Binäres Markovdiagramm~~]]		[[Datei:Inf_Z_1_5_vers2.png\|right\|frame\|Binäre symmetrische Markovquelle]]
	In der  [[Aufgaben:1.5_Binäre_Markovquelle\|Aufgabe 1.5]]  wurde eine binäre Markovquelle behandelt, bei der die Übergangswahrscheinlichkeiten von  $\rm A$  nach  $\rm B$  und von  $\rm B$  nach  $\rm A$  unterschiedlich waren.		In der  [[Aufgaben:1.5_Binäre_Markovquelle\|Aufgabe 1.5]]  wurde eine binäre Markovquelle behandelt, bei der die Übergangswahrscheinlichkeiten von  $\rm A$  nach  $\rm B$  und von  $\rm B$  nach  $\rm A$  unterschiedlich waren.  In dieser Aufgabe soll nun gelten:

	In dieser Aufgabe soll nun gelten:
	:$$p_{\rm A\hspace{0.01cm}\|\hspace{0.01cm}B} = p_{\rm B\hspace{0.01cm}\|\hspace{0.01cm}A} = q \hspace{0.8cm} ( 0 \le q \le 1)		:$$p_{\rm A\hspace{0.01cm}\|\hspace{0.01cm}B} = p_{\rm B\hspace{0.01cm}\|\hspace{0.01cm}A} = q \hspace{0.8cm} ( 0 \le q \le 1)
	\hspace{0.05cm}.$$		\hspace{0.05cm}.$$

Guenter am 17. Januar 2020 um 15:19 Uhr

2020-01-17T15:19:09Z

← Nächstältere Version		Version vom 17. Januar 2020, 17:19 Uhr
Zeile 86:		Zeile 86:
	:$$p_{\rm A} = p_{\rm A\hspace{0.01cm}\|\hspace{0.01cm}A} \cdot p_{\rm A} + p_{\rm A\hspace{0.01cm}\|\hspace{0.01cm}B} \cdot p_{\rm B}		:$$p_{\rm A} = p_{\rm A\hspace{0.01cm}\|\hspace{0.01cm}A} \cdot p_{\rm A} + p_{\rm A\hspace{0.01cm}\|\hspace{0.01cm}B} \cdot p_{\rm B}
	= (1-q) \cdot p_{\rm A} + q \cdot p_{\rm B}$$		= (1-q) \cdot p_{\rm A} + q \cdot p_{\rm B}$$
	:$$q \cdot p_{\rm A} = q \cdot p_{\rm B} \hspace{0.3cm} \Rightarrow \hspace{0.3cm}p_{\rm A} = p_{\rm B}\hspace{0.15cm} \underline {= 0.5}		:$$\Rightarrow \hspace{0.3cm}q \cdot p_{\rm A} = q \cdot p_{\rm B} \hspace{0.3cm} \Rightarrow \hspace{0.3cm}p_{\rm A} = p_{\rm B}\hspace{0.15cm} \underline {= 0.5}
	\hspace{0.05cm}.$$		\hspace{0.05cm}.$$


	'''(2)'''  Zur Berechnung der Entropie $H$ benötigt man alle vier Verbundwahrscheinlichkeiten:
			'''(2)'''  Zur Berechnung der Entropie  $H$  benötigt man alle vier Verbundwahrscheinlichkeiten:
	:$$p_{\rm AA} \hspace{0.1cm} = \hspace{0.1cm} p_{\rm A} \cdot p_{\rm A\hspace{0.01cm}\|\hspace{0.01cm}A} = 1/2 \cdot(1-q) = p_{\rm BB}\hspace{0.05cm},\hspace{1cm}		:$$p_{\rm AA} \hspace{0.1cm} = \hspace{0.1cm} p_{\rm A} \cdot p_{\rm A\hspace{0.01cm}\|\hspace{0.01cm}A} = 1/2 \cdot(1-q) = p_{\rm BB}\hspace{0.05cm},\hspace{1cm}
	p_{\rm AB} \hspace{0.1cm} = \hspace{0.1cm} p_{\rm A} \cdot p_{\rm B\hspace{0.01cm}\|\hspace{0.01cm}A} = 1/2 \cdot q = p_{\rm BA}\hspace{0.05cm}.$$		p_{\rm AB} \hspace{0.1cm} = \hspace{0.1cm} p_{\rm A} \cdot p_{\rm B\hspace{0.01cm}\|\hspace{0.01cm}A} = 1/2 \cdot q = p_{\rm BA}\hspace{0.05cm}.$$
	Setzt man diese Werte in die gegebene Entropie–Gleichung ein, so erhält man		*Setzt man diese Werte in die gegebene Entropie–Gleichung ein, so erhält man
	:$$H = 2 \cdot \frac{1}{2} \cdot(1-q) \cdot		:$$H = 2 \cdot \frac{1}{2} \cdot(1-q) \cdot
	{\rm log}_2\hspace{0.1cm} \frac{1}{1-q} + 2 \cdot \frac{1}{2} \cdot q \cdot		{\rm log}_2\hspace{0.1cm} \frac{1}{1-q} + 2 \cdot \frac{1}{2} \cdot q \cdot
	{\rm log}_2\hspace{0.1cm} \frac{1}{q} = q \cdot {\rm log}_2\hspace{0.1cm} \frac{1}{q} + (1-q) \cdot {\rm log}_2\hspace{0.1cm} \frac{1}{1-q} = H_{\rm bin}(q) \hspace{0.05cm}.$$		{\rm log}_2\hspace{0.1cm} \frac{1}{q} = q \cdot {\rm log}_2\hspace{0.1cm} \frac{1}{q} + (1-q) \cdot {\rm log}_2\hspace{0.1cm} \frac{1}{1-q} = H_{\rm bin}(q) \hspace{0.05cm}.$$
	Der gesuchte Zahlenwert ist $H = H_{\rm bin} (0.25) \hspace{0.15cm}\underline{= 0.811 \, \rm bit/Symbol}$.		*Der gesuchte Zahlenwert ist  $H = H_{\rm bin} (0.25) \hspace{0.15cm}\underline{= 0.811 \, \rm bit/Symbol}$.


	'''(3)'''  Bei gleichwahrscheinlichen Binärsymbolen ist $H_1 \hspace{0.15cm}\underline{= 1 \, \rm bit/Symbol}$. Mit der für Markovquellen gültigen Gleichung gilt weiter:
			'''(3)'''  Bei gleichwahrscheinlichen Binärsymbolen ist  $H_1 \hspace{0.15cm}\underline{= 1 \, \rm bit/Symbol}$.
			*Mit der für Markovquellen gültigen Gleichung gilt weiter:
	:$$H_2 \hspace{0.1cm} = \hspace{0.1cm} {1}/{2} \cdot \big[ H_1 + H \big] \hspace{0.15cm} \underline {= 0.906 \,{\rm bit/Symbol}}		:$$H_2 \hspace{0.1cm} = \hspace{0.1cm} {1}/{2} \cdot \big[ H_1 + H \big] \hspace{0.15cm} \underline {= 0.906 \,{\rm bit/Symbol}}
	\hspace{0.05cm},$$		\hspace{0.05cm},$$
Zeile 107:		Zeile 110:


	'''(4)'''  Das Maximum der binären Entropiefunktion ergibt sich für $q\hspace{0.15cm}\underline{= 0.5}$.
	*Damit beträgt die maximale Entropie $H = 1 \, \rm bit/Symbol$.		'''(4)'''  Das Maximum der binären Entropiefunktion ergibt sich für  $q\hspace{0.15cm}\underline{= 0.5}$.
	*Man erkennt aus der Beziehung $H = H_1$ und aus dem vorne abgebildeten Übergangsdiagramm, dass $q = 0.5$ statistisch unabhängige Symbole zur Folge hat:		*Damit beträgt die maximale Entropie  $H = 1 \, \rm bit/Symbol$.
			*Man erkennt aus der Beziehung  $H = H_1$  und aus dem vorne abgebildeten Übergangsdiagramm, dass  $q = 0.5$  statistisch unabhängige Symbole zur Folge hat:
	:$$p_{\rm A} = p_{\rm A\hspace{0.01cm}\|\hspace{0.01cm}A} = p_{\rm A\hspace{0.01cm}\|\hspace{0.01cm}B} = 0.5		:$$p_{\rm A} = p_{\rm A\hspace{0.01cm}\|\hspace{0.01cm}A} = p_{\rm A\hspace{0.01cm}\|\hspace{0.01cm}B} = 0.5
	\hspace{0.05cm}, \hspace{0.2cm} p_{\rm B} = p_{\rm B\hspace{0.01cm}\|\hspace{0.01cm}A} = p_{\rm B\hspace{0.01cm}\|\hspace{0.01cm}B}= 0.5		\hspace{0.05cm}, \hspace{0.2cm} p_{\rm B} = p_{\rm B\hspace{0.01cm}\|\hspace{0.01cm}A} = p_{\rm B\hspace{0.01cm}\|\hspace{0.01cm}B}= 0.5
	\hspace{0.05cm}.$$		\hspace{0.05cm}.$$



	'''(5)'''  Richtig sind die <u>Lösungsvorschläge 1 und 2</u>:		'''(5)'''  Richtig sind die <u>Lösungsvorschläge 1 und 2</u>:
	*Die Symbolfolge ergibt sich entweder zu  $\rm AAAAAA$ ...  oder zu  $\rm BBBBBB$ ... , je nachdem, welches Symbol als Startwert vorgegeben wurde.		*Die Symbolfolge ergibt sich entweder zu  $\rm AAAAAA$ ...  oder zu  $\rm BBBBBB$ ... , je nachdem, welches Symbol als Startwert vorgegeben wurde.
	*Die Entropie einer solchen Quelle ist $H = H_{\rm bin}(0) = 0$.		*Die Entropie einer solchen Quelle ist stets  $H = H_{\rm bin}(0) = 0$.




	'''(6)'''  Richtig ist nur der <u>Lösungsvorschlag 3</u>:		'''(6)'''  Richtig ist nur der <u>Lösungsvorschlag 3</u>:
	*Nun kann weder $\rm A$ direkt auf $\rm A$ noch $\rm B$ direkt auf $\rm B$ folgen.		*Nun kann weder  $\rm A$  direkt auf  $\rm A$  noch  $\rm B$  direkt auf  $\rm B$  folgen.
	*Es ergibt sich stets eine alternierende Folge, je nach Startwert die Folge  $\rm ABABAB$ ...  oder  $\rm BABABA$... .		*Es ergibt sich stets eine alternierende Folge, je nach Startwert die Folge  $\rm ABABAB$ ...  oder  $\rm BABABA$... .
	*Diese Quelle hat in beiden Fällen die Entropie $H = H_{\rm bin}(1) = 0$.		*Diese Quelle hat in beiden Fällen ebenfalls die Entropie  $H = H_{\rm bin}(1) = 0$.
	{{ML-Fuß}}		{{ML-Fuß}}

Guenter am 17. Januar 2020 um 15:11 Uhr

2020-01-17T15:11:37Z

← Nächstältere Version		Version vom 17. Januar 2020, 17:11 Uhr
Zeile 4:		Zeile 4:

	[[Datei:Inf_Z_1_5_vers2.png\|right\|frame\|Binäres Markovdiagramm]]		[[Datei:Inf_Z_1_5_vers2.png\|right\|frame\|Binäres Markovdiagramm]]
	In der [[Aufgaben:1.5_Binäre_Markovquelle\|Aufgabe 1.5]] wurde eine binäre Markovquelle behandelt, bei der die Übergangswahrscheinlichkeiten von $\rm A$ nach $\rm B$ und von $\rm B$ nach $\rm A$ unterschiedlich waren. In dieser Aufgabe soll nun gelten:		In der  [[Aufgaben:1.5_Binäre_Markovquelle\|Aufgabe 1.5]]  wurde eine binäre Markovquelle behandelt, bei der die Übergangswahrscheinlichkeiten von  $\rm A$  nach  $\rm B$  und von  $\rm B$  nach  $\rm A$  unterschiedlich waren.

			In dieser Aufgabe soll nun gelten:
	:$$p_{\rm A\hspace{0.01cm}\|\hspace{0.01cm}B} = p_{\rm B\hspace{0.01cm}\|\hspace{0.01cm}A} = q \hspace{0.8cm} ( 0 \le q \le 1)		:$$p_{\rm A\hspace{0.01cm}\|\hspace{0.01cm}B} = p_{\rm B\hspace{0.01cm}\|\hspace{0.01cm}A} = q \hspace{0.8cm} ( 0 \le q \le 1)
	\hspace{0.05cm}.$$		\hspace{0.05cm}.$$
Zeile 12:		Zeile 14:
	* <b>Entropie:</b>		* <b>Entropie:</b>
	:$$H = p_{\rm AA} \cdot {\rm log_2}\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}\|\hspace{0.01cm}A}} + p_{\rm AB} \cdot {\rm log_2}\hspace{0.1cm}\frac {1}{ p_{\rm B\hspace{0.01cm}\|\hspace{0.01cm}A}} + p_{\rm BA} \cdot {\rm log_2}\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}\|\hspace{0.01cm}B}} + p_{\rm BB} \cdot {\rm log_2}\hspace{0.1cm}\frac {1}{ p_{\rm B\hspace{0.01cm}\|\hspace{0.01cm}B}}		:$$H = p_{\rm AA} \cdot {\rm log_2}\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}\|\hspace{0.01cm}A}} + p_{\rm AB} \cdot {\rm log_2}\hspace{0.1cm}\frac {1}{ p_{\rm B\hspace{0.01cm}\|\hspace{0.01cm}A}} + p_{\rm BA} \cdot {\rm log_2}\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}\|\hspace{0.01cm}B}} + p_{\rm BB} \cdot {\rm log_2}\hspace{0.1cm}\frac {1}{ p_{\rm B\hspace{0.01cm}\|\hspace{0.01cm}B}}
	\hspace{0.05cm},$$		\hspace{0.05cm}.$$

	* <b>Erste Entropienäherung</b>:		* <b>Erste Entropienäherung</b>:
	:$$H_{\rm 1} = p_{\rm A} \cdot {\rm log_2}\hspace{0.1cm} \frac{1}{p_{\rm A}} + p_{\rm B} \cdot {\rm log_2}\hspace{0.1cm} \frac{1}{p_{\rm B}}		:$$H_{\rm 1} = p_{\rm A} \cdot {\rm log_2}\hspace{0.1cm} \frac{1}{p_{\rm A}} + p_{\rm B} \cdot {\rm log_2}\hspace{0.1cm} \frac{1}{p_{\rm B}}
	\hspace{0.05cm},$$		\hspace{0.05cm}.$$

	* <b><i>k</i>–te Entropienäherung</b> $(k = 2, 3, \ \text{...})$:		* <b><i>k</i>–te Entropienäherung</b> $(k = 2, 3, \ \text{...})$:
	:$$H_k = {1}/{k} \cdot \big [ H_{\rm 1} + (k-1) \cdot H \big]		:$$H_k = {1}/{k} \cdot \big [ H_{\rm 1} + (k-1) \cdot H \big]
	\hspace{0.05cm},\hspace{0.5cm}H = \lim_{k \rightarrow \infty } H_k \hspace{0.05cm}.$$		\hspace{0.05cm},\hspace{0.5cm}H = \lim_{k \rightarrow \infty } H_k \hspace{0.05cm}.$$





Zeile 26:		Zeile 31:

	''Hinweise:''		''Hinweise:''
	*Die Aufgabe gehört zum Kapitel [[Informationstheorie/Nachrichtenquellen_mit_Gedächtnis\|Nachrichtenquellen mit Gedächtnis]].		*Die Aufgabe gehört zum Kapitel  [[Informationstheorie/Nachrichtenquellen_mit_Gedächtnis\|Nachrichtenquellen mit Gedächtnis]].
	*Bezug genommen wird insbesondere auf die Seite [[Informationstheorie/Nachrichtenquellen_mit_Gedächtnis#Bin.C3.A4rquellen_mit_Markoveigenschaften\|Binärquellen mit Markoveigenschaften]].		*Bezug genommen wird insbesondere auf die Seite  [[Informationstheorie/Nachrichtenquellen_mit_Gedächtnis#Bin.C3.A4rquellen_mit_Markoveigenschaften\|Binärquellen mit Markoveigenschaften]].
	*Bei allen Entropien ist die Pseudoeinheit &bdquo;bit/Symbol” hinzuzufügen.		*Bei allen Entropien ist die Pseudoeinheit &bdquo;bit/Symbol” hinzuzufügen.

Zeile 36:		Zeile 41:

	<quiz display=simple>		<quiz display=simple>
	{Berechnen Sie die Symbolwahrscheinlichkeiten für die Übergangswahrscheinlichkeit $q = 1/4$.		{Berechnen Sie die Symbolwahrscheinlichkeiten für die Übergangswahrscheinlichkeit  $q = 1/4$.
	\|type="{}"}		\|type="{}"}
	$p_{\rm A} \ = \ $ { 0.5 1% }		$p_{\rm A} \ = \ $ { 0.5 1% }
Zeile 42:		Zeile 47:


	{Berechnen Sie die Quellenentropie $H$ für $q = 1/4$.		{Berechnen Sie die Quellenentropie  $H$  für  $q = 1/4$.
	\|type="{}"}		\|type="{}"}
	$H \ =$ { 0.811 3% } $\ \rm bit/Symbol$		$H \ =$ { 0.811 3% } $\ \rm bit/Symbol$


	{Welche Entropienäherungen erhält man für $q = 1/4$?		{Welche Entropienäherungen erhält man für  $q = 1/4$?
	\|type="{}"}		\|type="{}"}
	$H_1 \ = \ $ { 1 1% } $\ \rm bit/Symbol$		$H_1 \ = \ $ { 1 1% } $\ \rm bit/Symbol$
Zeile 54:		Zeile 59:


	{Bestimmen Sie $q$ derart, dass $H$ maximal wird. Interpretation.		{Bestimmen Sie  $q$  derart, dass  $H$  maximal wird. Interpretation.
	\|type="{}"}		\|type="{}"}
	$q \ = \ $ { 0.5 3% }		$q \ = \ $ { 0.5 3% }


	{Welche Symbolfolgen sind mit $q = 0$ möglich?		{Welche Symbolfolgen sind mit  $q = 0$  möglich?
	\|type="[]"}		\|type="[]"}
	+ $\rm AAAAAA$ ...		+ $\rm AAAAAA$ ...
Zeile 66:		Zeile 71:


	{Welche Symbolfolgen sind mit $q = 1$ möglich?		{Welche Symbolfolgen sind mit  $q = 1$  möglich?
	\|type="[]"}		\|type="[]"}
	- $\rm AAAAAA$ ...		- $\rm AAAAAA$ ...

Guenter am 19. September 2018 um 08:11 Uhr

2018-09-19T08:11:42Z

← Nächstältere Version		Version vom 19. September 2018, 10:11 Uhr
Zeile 83:		Zeile 83:
	:$$q \cdot p_{\rm A} = q \cdot p_{\rm B} \hspace{0.3cm} \Rightarrow \hspace{0.3cm}p_{\rm A} = p_{\rm B}\hspace{0.15cm} \underline {= 0.5}		:$$q \cdot p_{\rm A} = q \cdot p_{\rm B} \hspace{0.3cm} \Rightarrow \hspace{0.3cm}p_{\rm A} = p_{\rm B}\hspace{0.15cm} \underline {= 0.5}
	\hspace{0.05cm}.$$		\hspace{0.05cm}.$$


	'''(2)'''  Zur Berechnung der Entropie $H$ benötigt man alle vier Verbundwahrscheinlichkeiten:		'''(2)'''  Zur Berechnung der Entropie $H$ benötigt man alle vier Verbundwahrscheinlichkeiten:
Zeile 95:		Zeile 96:

	'''(3)'''  Bei gleichwahrscheinlichen Binärsymbolen ist $H_1 \hspace{0.15cm}\underline{= 1 \, \rm bit/Symbol}$. Mit der für Markovquellen gültigen Gleichung gilt weiter:		'''(3)'''  Bei gleichwahrscheinlichen Binärsymbolen ist $H_1 \hspace{0.15cm}\underline{= 1 \, \rm bit/Symbol}$. Mit der für Markovquellen gültigen Gleichung gilt weiter:
	:$$H_2 \hspace{0.1cm} = \hspace{0.1cm} {1}/{2} \cdot [ H_1 + H] \hspace{0.15cm} \underline {= 0.906 \,{\rm bit/Symbol}}		:$$H_2 \hspace{0.1cm} = \hspace{0.1cm} {1}/{2} \cdot \big[ H_1 + H \big] \hspace{0.15cm} \underline {= 0.906 \,{\rm bit/Symbol}}
	\hspace{0.05cm},$$		\hspace{0.05cm},$$
	:$$ H_3 \hspace{0.1cm} = \hspace{0.1cm} {1}/{3} \cdot [ H_1 + 2 H] \hspace{0.15cm} \underline {= 0.874 \,{\rm bit/Symbol}}		:$$ H_3 \hspace{0.1cm} = \hspace{0.1cm} {1}/{3} \cdot \big[ H_1 + 2 H \big] \hspace{0.15cm} \underline {= 0.874 \,{\rm bit/Symbol}}
	\hspace{0.05cm}.$$		\hspace{0.05cm}.$$


	'''(4)'''  Das Maximum der binären Entropiefunktion ergibt sich für $q\hspace{0.15cm}\underline{= 0.5}$. Damit beträgt die maximale Entropie $H = 1 \, \rm bit/Symbol$. Man erkennt aus der Beziehung $H = H_1$ und aus dem vorne abgebildeten Übergangsdiagramm, dass $q = 0.5$ statistisch unabhängige Symbole zur Folge hat:		'''(4)'''  Das Maximum der binären Entropiefunktion ergibt sich für $q\hspace{0.15cm}\underline{= 0.5}$.
			*Damit beträgt die maximale Entropie $H = 1 \, \rm bit/Symbol$.
			*Man erkennt aus der Beziehung $H = H_1$ und aus dem vorne abgebildeten Übergangsdiagramm, dass $q = 0.5$ statistisch unabhängige Symbole zur Folge hat:
	:$$p_{\rm A} = p_{\rm A\hspace{0.01cm}\|\hspace{0.01cm}A} = p_{\rm A\hspace{0.01cm}\|\hspace{0.01cm}B} = 0.5		:$$p_{\rm A} = p_{\rm A\hspace{0.01cm}\|\hspace{0.01cm}A} = p_{\rm A\hspace{0.01cm}\|\hspace{0.01cm}B} = 0.5
	\hspace{0.05cm}, \hspace{0.2cm} p_{\rm B} = p_{\rm B\hspace{0.01cm}\|\hspace{0.01cm}A} = p_{\rm B\hspace{0.01cm}\|\hspace{0.01cm}B}= 0.5		\hspace{0.05cm}, \hspace{0.2cm} p_{\rm B} = p_{\rm B\hspace{0.01cm}\|\hspace{0.01cm}A} = p_{\rm B\hspace{0.01cm}\|\hspace{0.01cm}B}= 0.5
Zeile 108:		Zeile 111:

	'''(5)'''  Richtig sind die <u>Lösungsvorschläge 1 und 2</u>:		'''(5)'''  Richtig sind die <u>Lösungsvorschläge 1 und 2</u>:
	*Die Symbolfolge ergibt sich entweder zu $\rm AAAAAA$ ... oder zu $\rm BBBBBB$ ... , je nachdem, welches Symbol als Startwert vorgegeben wurde.		*Die Symbolfolge ergibt sich entweder zu  $\rm AAAAAA$ ...  oder zu  $\rm BBBBBB$ ... , je nachdem, welches Symbol als Startwert vorgegeben wurde.
	*Die Entropie einer solchen Quelle ist $H = H_{\rm bin}(0) = 0$.		*Die Entropie einer solchen Quelle ist $H = H_{\rm bin}(0) = 0$.

Zeile 114:		Zeile 117:
	'''(6)'''  Richtig ist nur der <u>Lösungsvorschlag 3</u>:		'''(6)'''  Richtig ist nur der <u>Lösungsvorschlag 3</u>:
	*Nun kann weder $\rm A$ direkt auf $\rm A$ noch $\rm B$ direkt auf $\rm B$ folgen.		*Nun kann weder $\rm A$ direkt auf $\rm A$ noch $\rm B$ direkt auf $\rm B$ folgen.
	*Es ergibt sich stets eine alternierende Folge, je nach Startwert die Folge $\rm ABABAB$ ... oder $\rm BABABA$... .		*Es ergibt sich stets eine alternierende Folge, je nach Startwert die Folge  $\rm ABABAB$ ...  oder  $\rm BABABA$... .
	*Diese Quelle hat in beiden Fällen die Entropie $H = H_{\rm bin}(1) = 0$.		*Diese Quelle hat in beiden Fällen die Entropie $H = H_{\rm bin}(1) = 0$.
	{{ML-Fuß}}		{{ML-Fuß}}

Guenter am 19. September 2018 um 08:04 Uhr

2018-09-19T08:04:37Z

← Nächstältere Version		Version vom 19. September 2018, 10:04 Uhr
Zeile 44:		Zeile 44:
	{Berechnen Sie die Quellenentropie $H$ für $q = 1/4$.		{Berechnen Sie die Quellenentropie $H$ für $q = 1/4$.
	\|type="{}"}		\|type="{}"}
	$H \ =$ { 0.5 3% } $\ \rm bit/Symbol$		$H \ =$ { 0.811 3% } $\ \rm bit/Symbol$

Guenter am 19. September 2018 um 08:01 Uhr

2018-09-19T08:01:45Z

← Nächstältere Version		Version vom 19. September 2018, 10:01 Uhr
Zeile 3:		Zeile 3:
	}}		}}

	[[Datei:Inf_Z_1_5_vers2.png\|right\|~~Betrachtetes binäres~~ Markovdiagramm]]		[[Datei:Inf_Z_1_5_vers2.png\|right\|frame\|Binäres Markovdiagramm]]
	In der [[Aufgaben:1.5_Binäre_Markovquelle\|Aufgabe 1.5]] wurde eine binäre Markovquelle behandelt, bei der die Übergangswahrscheinlichkeiten von $\rm A$ nach $\rm B$ und von $\rm B$ nach $\rm A$ unterschiedlich waren. In dieser Aufgabe soll nun gelten:		In der [[Aufgaben:1.5_Binäre_Markovquelle\|Aufgabe 1.5]] wurde eine binäre Markovquelle behandelt, bei der die Übergangswahrscheinlichkeiten von $\rm A$ nach $\rm B$ und von $\rm B$ nach $\rm A$ unterschiedlich waren. In dieser Aufgabe soll nun gelten:
	:$$p_{\rm A\hspace{0.01cm}\|\hspace{0.01cm}B} = p_{\rm B\hspace{0.01cm}\|\hspace{0.01cm}A} = q \hspace{0.8cm} ( 0 \le q \le 1)		:$$p_{\rm A\hspace{0.01cm}\|\hspace{0.01cm}B} = p_{\rm B\hspace{0.01cm}\|\hspace{0.01cm}A} = q \hspace{0.8cm} ( 0 \le q \le 1)
Zeile 18:		Zeile 18:
	\hspace{0.05cm},$$		\hspace{0.05cm},$$

	* <b><i>k</i>–te Entropienäherung</b> ($k = 2, 3$, ...):		* <b><i>k</i>–te Entropienäherung</b> $(k = 2, 3, \ \text{...})$:
	:$$H_k = {1}/{k} \cdot [ H_{\rm 1} + (k-1) \cdot H]		:$$H_k = {1}/{k} \cdot \big [ H_{\rm 1} + (k-1) \cdot H \big]
	\hspace{0.05cm},\hspace{0.5cm}H = \lim_{k \rightarrow \infty } H_k \hspace{0.05cm}.$$		\hspace{0.05cm},\hspace{0.5cm}H = \lim_{k \rightarrow \infty } H_k \hspace{0.05cm}.$$




	''Hinweise:''		''Hinweise:''
Zeile 35:		Zeile 38:
	{Berechnen Sie die Symbolwahrscheinlichkeiten für die Übergangswahrscheinlichkeit $q = 1/4$.		{Berechnen Sie die Symbolwahrscheinlichkeiten für die Übergangswahrscheinlichkeit $q = 1/4$.
	\|type="{}"}		\|type="{}"}
	$p_{\rm A} \ = $ { 0.5 1% }		$p_{\rm A} \ = \ $ { 0.5 1% }
	$p_{\rm B} \ = $ { 0.5 1% }		$p_{\rm B} \ = \ $ { 0.5 1% }


Zeile 46:		Zeile 49:
	{Welche Entropienäherungen erhält man für $q = 1/4$?		{Welche Entropienäherungen erhält man für $q = 1/4$?
	\|type="{}"}		\|type="{}"}
	$H_1 \ =$ { 1 1% } $\ \rm bit/Symbol$		$H_1 \ = \ $ { 1 1% } $\ \rm bit/Symbol$
	$H_2 \ =$ { 0.906 1% } $\ \rm bit/Symbol$		$H_2 \ = \ $ { 0.906 1% } $\ \rm bit/Symbol$
	$H_3 \ =$ { 0.874 1% } $\ \rm bit/Symbol$		$H_3 \ = \ $ { 0.874 1% } $\ \rm bit/Symbol$


	{Bestimmen Sie $q$ derart, dass ~~<i>~~H~~</i>~~ maximal wird. Interpretation.		{Bestimmen Sie $q$ derart, dass $H$ maximal wird. Interpretation.
	\|type="{}"}		\|type="{}"}
	$H \~~rightarrow~~ \~~text{Maximum:}\ \ q \ =~~$ { 0.5 3% }		$q \ = \ $ { 0.5 3% }


Zeile 63:		Zeile 66:


	{Welche Symbolfolgen sind mit $q = 0$ möglich?		{Welche Symbolfolgen sind mit $q = 1$ möglich?
	\|type="[]"}		\|type="[]"}
	- $\rm AAAAAA$ ...		- $\rm AAAAAA$ ...

Mwiki-lnt: Textersetzung - „*Sollte die Eingabe des Zahlenwertes „0” erforderlich sein, so geben Sie bitte „0.” ein.“ durch „ “

2018-05-29T12:02:39Z

Textersetzung - „*Sollte die Eingabe des Zahlenwertes „0” erforderlich sein, so geben Sie bitte „0.” ein.“ durch „ “

← Nächstältere Version		Version vom 29. Mai 2018, 14:02 Uhr
Zeile 26:		Zeile 26:
	*Bezug genommen wird insbesondere auf die Seite [[Informationstheorie/Nachrichtenquellen_mit_Gedächtnis#Bin.C3.A4rquellen_mit_Markoveigenschaften\|Binärquellen mit Markoveigenschaften]].		*Bezug genommen wird insbesondere auf die Seite [[Informationstheorie/Nachrichtenquellen_mit_Gedächtnis#Bin.C3.A4rquellen_mit_Markoveigenschaften\|Binärquellen mit Markoveigenschaften]].
	*Bei allen Entropien ist die Pseudoeinheit &bdquo;bit/Symbol” hinzuzufügen.		*Bei allen Entropien ist die Pseudoeinheit &bdquo;bit/Symbol” hinzuzufügen.
	*Sollte die Eingabe des Zahlenwertes &bdquo;0” erforderlich sein, so geben Sie bitte &bdquo;0.” ein.

Guenter: Guenter verschob die Seite Aufgaben:1.5Z Symmetrische Markovquelle nach Aufgaben:Aufgabe 1.5Z: Symmetrische Markovquelle

2018-01-03T13:55:10Z

Guenter verschob die Seite Aufgaben:1.5Z Symmetrische Markovquelle nach Aufgaben:Aufgabe 1.5Z: Symmetrische Markovquelle

← Nächstältere Version		Version vom 3. Januar 2018, 15:55 Uhr
(kein Unterschied)