Aufgaben:Aufgabe 1.1Z: Binäre Entropiefunktion - Versionsgeschichte

Maintenance script: Add English interlanguage link

2026-03-16T12:34:35Z

Add English interlanguage link

← Nächstältere Version		Version vom 16. März 2026, 14:34 Uhr
Zeile 118:		Zeile 118:

	[[Category:Aufgaben zu Informationstheorie\|^1.1 Gedächtnislose Nachrichtenquellen^]]		[[Category:Aufgaben zu Informationstheorie\|^1.1 Gedächtnislose Nachrichtenquellen^]]
			[[en:Aufgaben:Exercise_1.1Z:_Binary_Entropy_Function]]

Maintenance script: Join multi-line formulas for MW 1.43 parser compat

2026-02-24T13:38:18Z

Join multi-line formulas for MW 1.43 parser compat

← Nächstältere Version		Version vom 24. Februar 2026, 15:38 Uhr
Zeile 72:		Zeile 72:
	*Die Entropiefunktion  $H'_{\rm bin}(p)$  lautet entsprechend der Angabe:		*Die Entropiefunktion  $H'_{\rm bin}(p)$  lautet entsprechend der Angabe:
	:$$H'_{\rm bin}(p) \hspace{0.1cm} = \hspace{0.1cm} p \cdot {\rm ln}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm}} + (1-p) \cdot {\rm ln}\hspace{0.1cm}\frac{1}{1-p} = {\rm ln}\hspace{0.1cm}2 \cdot \left [ p \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm}} + (1-p) \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{1-p}\right ]$$		:$$H'_{\rm bin}(p) \hspace{0.1cm} = \hspace{0.1cm} p \cdot {\rm ln}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm}} + (1-p) \cdot {\rm ln}\hspace{0.1cm}\frac{1}{1-p} = {\rm ln}\hspace{0.1cm}2 \cdot \left [ p \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm}} + (1-p) \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{1-p}\right ]$$
	:$$\Rightarrow \hspace{0.3cm} H'_{\rm bin}(p) \hspace{0.15cm}{\rm (in \hspace{0.15cm} nat)}=		:$$\Rightarrow \hspace{0.3cm} H'_{\rm bin}(p) \hspace{0.15cm}{\rm (in \hspace{0.15cm} nat)}={\rm ln}\hspace{0.1cm}2 \cdot H_{\rm bin}(p) \hspace{0.15cm}{\rm (in \hspace{0.15cm} bit)} = 0.693\cdot H_{\rm bin}(p)\hspace{0.05cm}.$$
	{\rm ln}\hspace{0.1cm}2 \cdot H_{\rm bin}(p) \hspace{0.15cm}{\rm (in \hspace{0.15cm} bit)} = 0.693\cdot H_{\rm bin}(p)\hspace{0.05cm}.$$



	'''(2)'''  Die Optimierungsbedingung lautet  ${\rm d}H_{\rm bin}(p)/{\rm d}p = 0$  bzw.		'''(2)'''  Die Optimierungsbedingung lautet  ${\rm d}H_{\rm bin}(p)/{\rm d}p = 0$  bzw.
	:$$\frac{{\rm d}H'_{\rm bin}(p)}{{\rm d}p} \stackrel{!}{=} 0 \hspace{0.3cm}\Rightarrow \hspace{0.3cm} \frac{\rm d}{{\rm d}p}		:$$\frac{{\rm d}H'_{\rm bin}(p)}{{\rm d}p} \stackrel{!}{=} 0 \hspace{0.3cm}\Rightarrow \hspace{0.3cm} \frac{\rm d}{{\rm d}p}\big [ - p \cdot {\rm ln}\hspace{0.1cm}p - (1-p) \cdot {\rm ln}\hspace{0.1cm}({1-p})\big ] \stackrel{!}{=} 0$$
	\big [ - p \cdot {\rm ln}\hspace{0.1cm}p - (1-p) \cdot {\rm ln}\hspace{0.1cm}({1-p})\big ] \stackrel{!}{=} 0$$		:$$\Rightarrow \hspace{0.3cm} - {\rm ln}\hspace{0.1cm}p - p \cdot \frac {1}{p}+ {\rm ln}\hspace{0.1cm}(1-p) + (1-p)\cdot \frac {1}{1- p}\stackrel{!}{=} 0$$
	:$$\Rightarrow \hspace{0.3cm}		:$$\Rightarrow \hspace{0.3cm} {\rm ln}\hspace{0.1cm}\frac {1-p}{p}= 0 \hspace{0.3cm}\Rightarrow \hspace{0.3cm}\frac {1-p}{p}= 1\hspace{0.3cm}\Rightarrow \hspace{0.3cm} \underline { p = 0.5}\hspace{0.05cm}.$$
	- {\rm ln}\hspace{0.1cm}p - p \cdot \frac {1}{p}+ {\rm ln}\hspace{0.1cm}(1-p) + (1-p)\cdot \frac {1}{1- p}\stackrel{!}{=} 0$$
	:$$\Rightarrow \hspace{0.3cm} {\rm ln}\hspace{0.1cm}\frac {1-p}{p}= 0 \hspace{0.3cm}\Rightarrow \hspace{0.3cm}\frac {1-p}{p}= 1
	\hspace{0.3cm}\Rightarrow \hspace{0.3cm} \underline { p = 0.5}\hspace{0.05cm}.$$
	*Die Entropiewerte für  $p = 0.5$  lauten somit:		*Die Entropiewerte für  $p = 0.5$  lauten somit:
	:$$H'_{\rm bin}(p = 0.5) \hspace{0.1cm} = \hspace{0.1cm} -2 \cdot 0.5 \cdot {\rm ln}\hspace{0.1cm}0.5 = {\rm ln}\hspace{0.1cm}2 = 0.693 \, {\rm nat}\hspace{0.05cm},$$		:$$H'_{\rm bin}(p = 0.5) \hspace{0.1cm} = \hspace{0.1cm} -2 \cdot 0.5 \cdot {\rm ln}\hspace{0.1cm}0.5 = {\rm ln}\hspace{0.1cm}2 = 0.693 \, {\rm nat}\hspace{0.05cm},$$
Zeile 91:		Zeile 87:

	'''(3)'''  Für  $p = 5\%$  erhält man:		'''(3)'''  Für  $p = 5\%$  erhält man:
	:$$H_{\rm bin}(p = 0.05) \hspace{0.1cm} = \hspace{0.1cm} 0.05 \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{0.05}+ 0.95 \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{0.95}= \frac{1}{0.693} \cdot \big [ 0.05 \cdot {\rm ln}\hspace{0.1cm}20+ 0.95 \cdot {\rm ln}\hspace{0.1cm}1.053\big ]		:$$H_{\rm bin}(p = 0.05) \hspace{0.1cm} = \hspace{0.1cm} 0.05 \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{0.05}+ 0.95 \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{0.95}= \frac{1}{0.693} \cdot \big [ 0.05 \cdot {\rm ln}\hspace{0.1cm}20+ 0.95 \cdot {\rm ln}\hspace{0.1cm}1.053\big ]\hspace{0.15cm}\underline {\approx 0.286 \, {\rm bit}}\hspace{0.05cm}.$$
	\hspace{0.15cm}\underline {\approx 0.286 \, {\rm bit}}\hspace{0.05cm}.$$


Zeile 98:		Zeile 93:
	'''(4)'''  Diese Teilaufgabe lässt sich nicht in geschlossener Form lösen, sondern durch &bdquo;Probieren”.		'''(4)'''  Diese Teilaufgabe lässt sich nicht in geschlossener Form lösen, sondern durch &bdquo;Probieren”.
	*Eine Lösung liefert das Ergebnis:		*Eine Lösung liefert das Ergebnis:
	:$$H_{\rm bin}(p = 0.10) = 0.469 \, {\rm bit}\hspace{0.05cm},\hspace{0.2cm}H_{\rm bin}(p = 0.12) = 0.529 \, {\rm bit}\hspace{0.05cm},\hspace{0.2cm}		:$$H_{\rm bin}(p = 0.10) = 0.469 \, {\rm bit}\hspace{0.05cm},\hspace{0.2cm}H_{\rm bin}(p = 0.12) = 0.529 \, {\rm bit}\hspace{0.05cm},\hspace{0.2cm}H_{\rm bin}(p = 0.11) \approx 0.5 \, {\rm bit} \hspace{0.3cm}\Rightarrow \hspace{0.3cm}p_1 \approx 0.11\hspace{0.05cm}. $$
	H_{\rm bin}(p = 0.11) \approx 0.5 \, {\rm bit} \hspace{0.3cm}
	\Rightarrow \hspace{0.3cm}p_1 \approx 0.11\hspace{0.05cm}. $$
	*Die zweite (gesuchte) Lösung ergibt sich aus der Symmetrie von  $H_{\rm bin}(p)$  zu  $p_2 = 1 -p_1 \hspace{0.15cm}\underline{= 0.89}$.		*Die zweite (gesuchte) Lösung ergibt sich aus der Symmetrie von  $H_{\rm bin}(p)$  zu  $p_2 = 1 -p_1 \hspace{0.15cm}\underline{= 0.89}$.

Zeile 107:		Zeile 100:

	'''(5)'''  Mit  $p = 0.45$  erhält man  $H_{\rm bin}(p) = 0.993\hspace{0.05cm}\rm bit$.  Der relative Fehler bezüglich Entropie ist somit		'''(5)'''  Mit  $p = 0.45$  erhält man  $H_{\rm bin}(p) = 0.993\hspace{0.05cm}\rm bit$.  Der relative Fehler bezüglich Entropie ist somit
	:$$\varepsilon_{H} = \frac{H_{\rm bin}(p = 0.45)- H_{\rm bin}(p= 0.5)}{H_{\rm bin}(p = 0.5)}= \frac{0.993- 1}{1}\hspace{0.15cm}\underline {= -0.7 \, {\rm \%}}		:$$\varepsilon_{H} = \frac{H_{\rm bin}(p = 0.45)- H_{\rm bin}(p= 0.5)}{H_{\rm bin}(p = 0.5)}= \frac{0.993- 1}{1}\hspace{0.15cm}\underline {= -0.7 \, {\rm \%}}\hspace{0.05cm}.$$
	\hspace{0.05cm}.$$
	*Das Minuszeichen deutet darauf hin, dass der Entropiewert  $H_{\rm bin}(p) = 0.993\hspace{0.05cm}\rm bit$  zu klein ist.		*Das Minuszeichen deutet darauf hin, dass der Entropiewert  $H_{\rm bin}(p) = 0.993\hspace{0.05cm}\rm bit$  zu klein ist.
	*Hätte die Simulation den zu großen Wert  $p = 0.55$  ergeben, so wäre die Entropie und auch der relative Fehler genau so groß.		*Hätte die Simulation den zu großen Wert  $p = 0.55$  ergeben, so wäre die Entropie und auch der relative Fehler genau so groß.
Zeile 117:		Zeile 109:
	'''(6)'''  Es gilt  $H_{\rm bin}(p = 0.045) = 0.265\hspace{0.05cm}\rm bit$.		'''(6)'''  Es gilt  $H_{\rm bin}(p = 0.045) = 0.265\hspace{0.05cm}\rm bit$.
	*Mit dem Ergebnis der Teilaufgabe  '''(3)'''   ⇒   $H_{\rm bin}(p = 0.05) = 0.286\hspace{0.05cm}\rm bit$  folgt daraus für den relativen Fehler bezüglich der Entropie:		*Mit dem Ergebnis der Teilaufgabe  '''(3)'''   ⇒   $H_{\rm bin}(p = 0.05) = 0.286\hspace{0.05cm}\rm bit$  folgt daraus für den relativen Fehler bezüglich der Entropie:
	:$$\varepsilon_{H} = \frac{H_{\rm bin}(p = 0.045)- H_{\rm bin}(p= 0.05)}{H_{\rm bin}(p = 0.05)}= \frac{0.265- 0.286}{0.286}\hspace{0.15cm}\underline {= -7.3 \, {\rm \%}}		:$$\varepsilon_{H} = \frac{H_{\rm bin}(p = 0.045)- H_{\rm bin}(p= 0.05)}{H_{\rm bin}(p = 0.05)}= \frac{0.265- 0.286}{0.286}\hspace{0.15cm}\underline {= -7.3 \, {\rm \%}}\hspace{0.05cm}.$$
	\hspace{0.05cm}.$$
	*Das Ergebnis zeigt:		*Das Ergebnis zeigt:
	# Eine falsche Bestimmung der Symbolwahrscheinlichkeiten um  $10\%$  macht sich für  $p = 0.05$  aufgrund des steileren  $H_{\rm bin}(p)$–Verlaufs deutlich stärker bemerkbar als für  $p = 0.5$.		# Eine falsche Bestimmung der Symbolwahrscheinlichkeiten um  $10\%$  macht sich für  $p = 0.05$  aufgrund des steileren  $H_{\rm bin}(p)$–Verlaufs deutlich stärker bemerkbar als für  $p = 0.5$.

Guenter am 16. Juni 2021 um 14:21 Uhr

2021-06-16T14:21:22Z

← Nächstältere Version		Version vom 16. Juni 2021, 16:21 Uhr
Zeile 11:		Zeile 11:
	In diesen Gleichungen werden als Kurzbezeichnungen verwendet:		In diesen Gleichungen werden als Kurzbezeichnungen verwendet:

	* der ~~<i>~~natürliche~~</i> ~~ Logarithmus   ⇒   $ {\ln} \hspace{0.09cm} p = \log_{\rm e} \hspace{0.05cm} p$,		* der natürliche Logarithmus   ⇒   $ {\ln} \hspace{0.09cm} p = \log_{\rm e} \hspace{0.05cm} p$,
	* der Logarithmus ~~<i>~~dualis~~</i>~~   ⇒   ${\rm ld} \hspace{0.09cm} p = \log_2 \hspace{0.05cm} p$.		* der Logarithmus dualis   ⇒   ${\rm ld} \hspace{0.09cm} p = \log_2 \hspace{0.05cm} p$.

Guenter am 12. Dezember 2019 um 14:31 Uhr

2019-12-12T14:31:05Z

← Nächstältere Version		Version vom 12. Dezember 2019, 16:31 Uhr
Zeile 70:		Zeile 70:
	{{ML-Kopf}}		{{ML-Kopf}}
	'''(1)'''  Richtig ist der <u>erste Lösungsvorschlag</u>. Die beiden weiteren Vorgaben machen keinen Sinn.		'''(1)'''  Richtig ist der <u>erste Lösungsvorschlag</u>. Die beiden weiteren Vorgaben machen keinen Sinn.
	*Die Entropiefunktion $H'_{\rm bin}(p)$ lautet entsprechend der Angabe:		*Die Entropiefunktion  $H'_{\rm bin}(p)$  lautet entsprechend der Angabe:
	:$$H'_{\rm bin}(p) \hspace{0.1cm} = \hspace{0.1cm} p \cdot {\rm ln}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm}} + (1-p) \cdot {\rm ln}\hspace{0.1cm}\frac{1}{1-p} = {\rm ln}\hspace{0.1cm}2 \cdot \left [ p \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm}} + (1-p) \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{1-p}\right ]$$		:$$H'_{\rm bin}(p) \hspace{0.1cm} = \hspace{0.1cm} p \cdot {\rm ln}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm}} + (1-p) \cdot {\rm ln}\hspace{0.1cm}\frac{1}{1-p} = {\rm ln}\hspace{0.1cm}2 \cdot \left [ p \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm}} + (1-p) \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{1-p}\right ]$$
	:$$\Rightarrow \hspace{0.3cm} H'_{\rm bin}(p) \hspace{0.15cm}{\rm (in \hspace{0.15cm} nat)}=		:$$\Rightarrow \hspace{0.3cm} H'_{\rm bin}(p) \hspace{0.15cm}{\rm (in \hspace{0.15cm} nat)}=
Zeile 76:		Zeile 76:


	'''(2)'''  Die Optimierungsbedingung lautet ${\rm d}H_{\rm bin}(p)/{\rm d}p = 0$ bzw.
			'''(2)'''  Die Optimierungsbedingung lautet  ${\rm d}H_{\rm bin}(p)/{\rm d}p = 0$  bzw.
	:$$\frac{{\rm d}H'_{\rm bin}(p)}{{\rm d}p} \stackrel{!}{=} 0 \hspace{0.3cm}\Rightarrow \hspace{0.3cm} \frac{\rm d}{{\rm d}p}		:$$\frac{{\rm d}H'_{\rm bin}(p)}{{\rm d}p} \stackrel{!}{=} 0 \hspace{0.3cm}\Rightarrow \hspace{0.3cm} \frac{\rm d}{{\rm d}p}
	\big [ - p \cdot {\rm ln}\hspace{0.1cm}p - (1-p) \cdot {\rm ln}\hspace{0.1cm}({1-p})\big ] \stackrel{!}{=} 0$$		\big [ - p \cdot {\rm ln}\hspace{0.1cm}p - (1-p) \cdot {\rm ln}\hspace{0.1cm}({1-p})\big ] \stackrel{!}{=} 0$$
Zeile 83:		Zeile 84:
	:$$\Rightarrow \hspace{0.3cm} {\rm ln}\hspace{0.1cm}\frac {1-p}{p}= 0 \hspace{0.3cm}\Rightarrow \hspace{0.3cm}\frac {1-p}{p}= 1		:$$\Rightarrow \hspace{0.3cm} {\rm ln}\hspace{0.1cm}\frac {1-p}{p}= 0 \hspace{0.3cm}\Rightarrow \hspace{0.3cm}\frac {1-p}{p}= 1
	\hspace{0.3cm}\Rightarrow \hspace{0.3cm} \underline { p = 0.5}\hspace{0.05cm}.$$		\hspace{0.3cm}\Rightarrow \hspace{0.3cm} \underline { p = 0.5}\hspace{0.05cm}.$$
	Die Entropiewerte für $p = 0.5$ lauten somit:		*Die Entropiewerte für  $p = 0.5$  lauten somit:
	:$$H'_{\rm bin}(p = 0.5) \hspace{0.1cm} = \hspace{0.1cm} -2 \cdot 0.5 \cdot {\rm ln}\hspace{0.1cm}0.5 = {\rm ln}\hspace{0.1cm}2 = 0.693 \, {\rm nat}\hspace{0.05cm},$$		:$$H'_{\rm bin}(p = 0.5) \hspace{0.1cm} = \hspace{0.1cm} -2 \cdot 0.5 \cdot {\rm ln}\hspace{0.1cm}0.5 = {\rm ln}\hspace{0.1cm}2 = 0.693 \, {\rm nat}\hspace{0.05cm},$$
	:$$ H_{\rm bin}(p = 0.5) \hspace{0.1cm} = \hspace{0.1cm} -2 \cdot 0.5 \cdot {\rm ld}\hspace{0.1cm}0.5 = {\rm log_2}\hspace{0.1cm}2 \hspace{0.15cm}\underline {= 1 \, {\rm bit}}\hspace{0.05cm}.$$		:$$ H_{\rm bin}(p = 0.5) \hspace{0.1cm} = \hspace{0.1cm} -2 \cdot 0.5 \cdot {\rm ld}\hspace{0.1cm}0.5 = {\rm log_2}\hspace{0.1cm}2 \hspace{0.15cm}\underline {= 1 \, {\rm bit}}\hspace{0.05cm}.$$


	'''(3)'''  Für $p = 5\%$ erhält man:
			'''(3)'''  Für  $p = 5\%$  erhält man:
	:$$H_{\rm bin}(p = 0.05) \hspace{0.1cm} = \hspace{0.1cm} 0.05 \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{0.05}+ 0.95 \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{0.95}= \frac{1}{0.693} \cdot \big [ 0.05 \cdot {\rm ln}\hspace{0.1cm}20+ 0.95 \cdot {\rm ln}\hspace{0.1cm}1.053\big ]		:$$H_{\rm bin}(p = 0.05) \hspace{0.1cm} = \hspace{0.1cm} 0.05 \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{0.05}+ 0.95 \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{0.95}= \frac{1}{0.693} \cdot \big [ 0.05 \cdot {\rm ln}\hspace{0.1cm}20+ 0.95 \cdot {\rm ln}\hspace{0.1cm}1.053\big ]
	\hspace{0.15cm}\underline {\approx 0.286 \, {\rm bit}}\hspace{0.05cm}.$$		\hspace{0.15cm}\underline {\approx 0.286 \, {\rm bit}}\hspace{0.05cm}.$$


	'''(4)'''  Diese Teilaufgabe lässt sich nicht in geschlossener Form lösen, sondern durch &bdquo;Probieren”. Eine Lösung liefert das Ergebnis:
			'''(4)'''  Diese Teilaufgabe lässt sich nicht in geschlossener Form lösen, sondern durch &bdquo;Probieren”.
			*Eine Lösung liefert das Ergebnis:
	:$$H_{\rm bin}(p = 0.10) = 0.469 \, {\rm bit}\hspace{0.05cm},\hspace{0.2cm}H_{\rm bin}(p = 0.12) = 0.529 \, {\rm bit}\hspace{0.05cm},\hspace{0.2cm}		:$$H_{\rm bin}(p = 0.10) = 0.469 \, {\rm bit}\hspace{0.05cm},\hspace{0.2cm}H_{\rm bin}(p = 0.12) = 0.529 \, {\rm bit}\hspace{0.05cm},\hspace{0.2cm}
	H_{\rm bin}(p = 0.11) \approx 0.5 \, {\rm bit} \hspace{0.3cm}		H_{\rm bin}(p = 0.11) \approx 0.5 \, {\rm bit} \hspace{0.3cm}
	\Rightarrow \hspace{0.3cm}p_1 \approx 0.11\hspace{0.05cm}. $$		\Rightarrow \hspace{0.3cm}p_1 \approx 0.11\hspace{0.05cm}. $$
	Die zweite (gesuchte) Lösung ergibt sich aus der Symmetrie von $H_{\rm bin}(p)$ zu  $p_2 = 1 -p_1 \hspace{0.15cm}\underline{= 0.89}$.		*Die zweite (gesuchte) Lösung ergibt sich aus der Symmetrie von  $H_{\rm bin}(p)$  zu  $p_2 = 1 -p_1 \hspace{0.15cm}\underline{= 0.89}$.


	'''(5)'''  Mit $p = 0.45$ erhält man $H_{\rm bin}(p) = 0.993\hspace{0.05cm}\rm bit$. Der relative Fehler bezüglich Entropie ist somit

			'''(5)'''  Mit  $p = 0.45$  erhält man  $H_{\rm bin}(p) = 0.993\hspace{0.05cm}\rm bit$.  Der relative Fehler bezüglich Entropie ist somit
	:$$\varepsilon_{H} = \frac{H_{\rm bin}(p = 0.45)- H_{\rm bin}(p= 0.5)}{H_{\rm bin}(p = 0.5)}= \frac{0.993- 1}{1}\hspace{0.15cm}\underline {= -0.7 \, {\rm \%}}		:$$\varepsilon_{H} = \frac{H_{\rm bin}(p = 0.45)- H_{\rm bin}(p= 0.5)}{H_{\rm bin}(p = 0.5)}= \frac{0.993- 1}{1}\hspace{0.15cm}\underline {= -0.7 \, {\rm \%}}
	\hspace{0.05cm}.$$		\hspace{0.05cm}.$$
	Das Minuszeichen deutet darauf hin, dass der Entropiewert $H_{\rm bin}(p) = 0.993\hspace{0.05cm}\rm bit$ zu klein ist. Hätte die Simulation den zu großen Wert $p = 0.55$ ergeben, so wäre die Entropie und auch der relative Fehler genau so groß.		*Das Minuszeichen deutet darauf hin, dass der Entropiewert  $H_{\rm bin}(p) = 0.993\hspace{0.05cm}\rm bit$  zu klein ist.
			*Hätte die Simulation den zu großen Wert  $p = 0.55$  ergeben, so wäre die Entropie und auch der relative Fehler genau so groß.




	'''(6)'''  Es gilt $H_{\rm bin}(p = 0.045) = 0.265\hspace{0.05cm}\rm bit$. Mit dem Ergebnis der Teilaufgabe (3)   ⇒   $H_{\rm bin}(p = 0.05) = 0.286\hspace{0.05cm}\rm bit$folgt daraus für den relativen Fehler bezüglich der Entropie:		'''(6)'''  Es gilt  $H_{\rm bin}(p = 0.045) = 0.265\hspace{0.05cm}\rm bit$.
			*Mit dem Ergebnis der Teilaufgabe  '''(3)'''   ⇒   $H_{\rm bin}(p = 0.05) = 0.286\hspace{0.05cm}\rm bit$  folgt daraus für den relativen Fehler bezüglich der Entropie:
	:$$\varepsilon_{H} = \frac{H_{\rm bin}(p = 0.045)- H_{\rm bin}(p= 0.05)}{H_{\rm bin}(p = 0.05)}= \frac{0.265- 0.286}{0.286}\hspace{0.15cm}\underline {= -7.3 \, {\rm \%}}		:$$\varepsilon_{H} = \frac{H_{\rm bin}(p = 0.045)- H_{\rm bin}(p= 0.05)}{H_{\rm bin}(p = 0.05)}= \frac{0.265- 0.286}{0.286}\hspace{0.15cm}\underline {= -7.3 \, {\rm \%}}
	\hspace{0.05cm}.$$		\hspace{0.05cm}.$$
	Das Ergebnis zeigt:		*Das Ergebnis zeigt:
	*Eine falsche Bestimmung der Symbolwahrscheinlichkeiten um $10\%$ macht sich für $p = 0.05$ aufgrund des steileren $H_{\rm bin}(p)$–Verlaufs deutlich stärker bemerkbar als für $p = 0.5$.		# Eine falsche Bestimmung der Symbolwahrscheinlichkeiten um  $10\%$  macht sich für  $p = 0.05$  aufgrund des steileren  $H_{\rm bin}(p)$–Verlaufs deutlich stärker bemerkbar als für  $p = 0.5$.
	*Eine zu große Wahrscheinlichkeit $p = 0.055$ hätte zu $H_{\rm bin}(p = 0.055) = 0.307\hspace{0.05cm}\rm bit$ geführt und damit zu einer Verfälschung um $\varepsilon_H = +7.3\%$. In diesem Bereich verläuft die Entropiekurve also (mit guter Näherung) linear.		# Eine zu große Wahrscheinlichkeit  $p = 0.055$  hätte zu  $H_{\rm bin}(p = 0.055) = 0.307\hspace{0.05cm}\rm bit$  geführt und damit zu einer Verfälschung um  $\varepsilon_H = +7.3\%$.  In diesem Bereich verläuft die Entropiekurve also (mit guter Näherung) linear.
	{{ML-Fuß}}		{{ML-Fuß}}

Guenter am 12. Dezember 2019 um 14:20 Uhr

2019-12-12T14:20:48Z

← Nächstältere Version		Version vom 12. Dezember 2019, 16:20 Uhr
Zeile 11:		Zeile 11:
	In diesen Gleichungen werden als Kurzbezeichnungen verwendet:		In diesen Gleichungen werden als Kurzbezeichnungen verwendet:

	* der <i>natürliche</i>  Logarithmus   ⇒   $ \ln \hspace{0.~~05cm~~} p = \log_{\rm e} \hspace{0.05cm} p$,		* der <i>natürliche</i>  Logarithmus   ⇒   $ {\ln} \hspace{0.09cm} p = \log_{\rm e} \hspace{0.05cm} p$,
	* der Logarithmus <i>dualis</i>   ⇒   ${\rm ld} \hspace{0.~~05cm~~} p = \log_2 \hspace{0.05cm} p$.		* der Logarithmus <i>dualis</i>   ⇒   ${\rm ld} \hspace{0.09cm} p = \log_2 \hspace{0.05cm} p$.


Zeile 33:		Zeile 33:

	<quiz display=simple>		<quiz display=simple>
	{Wie hängen $H_{\rm bin}(p)$ mit der Einheit &bdquo;bit” und $H'_{\rm bin}(p)$ mit der Einheit &bdquo;nat” zusammen?		{Wie hängen  $H_{\rm bin}(p)$  mit der Einheit &bdquo;bit” und  $H'_{\rm bin}(p)$  mit der Einheit &bdquo;nat” zusammen?
	\|type="[]"}		\|type="[]"}
	+ $H_{\rm bin}(p)$ und $H'_{\rm bin}(p)$ unterscheiden sich um einen Faktor.		+ $H_{\rm bin}(p)$  und  $H'_{\rm bin}(p)$  unterscheiden sich um einen Faktor.
	- Es gilt $H'_{\rm bin}(p) = H_{\rm bin}(\ln \ p)$.		- Es gilt  $H'_{\rm bin}(p) = H_{\rm bin}(\ln \ p)$.
	- Es gilt $H'_{\rm bin}(p) = 1 + H_{\rm bin}(2 p)$.		- Es gilt  $H'_{\rm bin}(p) = 1 + H_{\rm bin}(2 p)$.


	{Zeigen Sie, dass sich das Maximum der binären Entropiefunktion für $p = 0.5$ ergibt. Wie groß ist $H_\text{bin}(p = 0.5)$?		{Zeigen Sie, dass sich das Maximum der binären Entropiefunktion für  $p = 0.5$  ergibt.  Wie groß ist  $H_\text{bin}(p = 0.5)$?
	\|type="{}"}		\|type="{}"}
	$H_\text{bin}(p = 0.5) \ = \ $ { 1 } $\ \rm bit$		$H_\text{bin}(p = 0.5) \ = \ $ { 1 } $\ \rm bit$


	{Berechnen Sie den binären Entropiewert für $p = 0.05$.		{Berechnen Sie den binären Entropiewert für  $p = 0.05$.
	\|type="{}"}		\|type="{}"}
	$H_\text{bin}(p = 0.05) \ = \ $ { 0.286 3% } $\ \rm bit$		$H_\text{bin}(p = 0.05) \ = \ $ { 0.286 3% } $\ \rm bit$


	{Geben Sie den größeren der beiden $p$–Werte ein, die sich aus der Gleichung $H_\text{bin}(p)= 0.5 \ \rm bit$ ergeben.		{Geben Sie den größeren der beiden  $p$–Werte ein, die sich aus der Gleichung  $H_\text{bin}(p)= 0.5 \ \rm bit$  ergeben.
	\|type="{}"}		\|type="{}"}
	$p \ = \ $ { 0.89 3% }		$p \ = \ $ { 0.89 3% }


	{Durch unzureichende Simulation wurde $p = 0.5$ um $10\%$ zu niedrig ermittelt. ~~<br>~~Wie groß ist der prozentuale Fehler hinsichtlich der Entropie?		{Durch unzureichende Simulation wurde  $p = 0.5$  um  $10\%$ zu niedrig ermittelt.  Wie groß ist der prozentuale Fehler hinsichtlich der Entropie?
	\|type="{}"}		\|type="{}"}
	$p = 0.45\ {\rm statt}\ p=0.5\hspace{-0.1cm}:\ \ \varepsilon_H \ = \ $ { -0.72--0.68 } $\ \rm \%$		$p = 0.45\ \ {\rm statt}\ \ p=0.5\hspace{-0.1cm}:\ \ \varepsilon_H \ = \ $ { -0.72--0.68 } $\ \rm \%$


	{Durch unzureichende Simulation wurde $p = 0.05$ um $10\%$ zu niedrig ermittelt. ~~<br>~~Wie groß ist der prozentuale Fehler hinsichtlich der Entropie?		{Durch unzureichende Simulation wurde  $p = 0.05$  um  $10\%$  zu niedrig ermittelt.  Wie groß ist hier der prozentuale Fehler hinsichtlich der Entropie?
	\|type="{}"}		\|type="{}"}
	$p = 0.045\ {\rm statt}\ p=0.05\hspace{-0.1cm}:\ \ \varepsilon_H \ = \ $ { -7.44--7.16 } $\ \rm \%$		$p = 0.045\ \ {\rm statt}\ \ p=0.05\hspace{-0.1cm}:\ \ \varepsilon_H \ = \ $ { -7.44--7.16 } $\ \rm \%$

Guenter am 12. Dezember 2019 um 13:54 Uhr

2019-12-12T13:54:33Z

Guenter am 18. September 2018 um 09:37 Uhr

2018-09-18T09:37:57Z

Guenter am 18. September 2018 um 09:27 Uhr

2018-09-18T09:27:30Z

← Nächstältere Version		Version vom 18. September 2018, 11:27 Uhr
Zeile 3:		Zeile 3:
	}}		}}

	[[Datei:P_ID2234__Inf_Z_1_1.png\|right\|~~Inf_Z_1_1_vers2.png~~]]		[[Datei:P_ID2234__Inf_Z_1_1.png\|right\|frame\|Binäre Entropiefunktion in &bdquo;bit” und &bdquo;nat”]]
	Wir betrachten eine Folge von binären Zufallsgrößen mit dem Symbolvorrat $\{ \rm A, \ B \}$   ⇒   $M = 2$. Die Auftrittswahrscheinlichkeiten der beiden Symbole seien $p_{\rm A }= p$ und $p_{\rm B } = 1 - p$.		Wir betrachten eine Folge von binären Zufallsgrößen mit dem Symbolvorrat $\{ \rm A, \ B \}$   ⇒   $M = 2$. Die Auftrittswahrscheinlichkeiten der beiden Symbole seien $p_{\rm A }= p$  und  $p_{\rm B } = 1 - p$.

	Die einzelnen Folgenelemente sind statistisch unabhängig. Für die Entropie dieser Nachrichtenquelle gilt gleichermaßen:		Die einzelnen Folgenelemente sind statistisch unabhängig. Für die Entropie dieser Nachrichtenquelle gilt gleichermaßen:
	:$$H_{\rm bin}(p) \hspace{0.1cm} = \hspace{0.1cm} p \cdot {\rm ld}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm}} + (1-p) \cdot {\rm ld}\hspace{0.1cm}\frac{1}{1-p}\hspace{0.15cm}{\rm in \hspace{0.15cm} [bit]}\hspace{0.05cm},$$		:$$H_{\rm bin}(p) \hspace{0.1cm} = \hspace{0.1cm} p \cdot {\rm ld}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm}} + (1-p) \cdot {\rm ld}\hspace{0.1cm}\frac{1}{1-p}\hspace{0.15cm}{\rm in \hspace{0.15cm} \big [bit \big ]}\hspace{0.05cm},$$
	:$$ H'_{\rm bin}(p) \hspace{0.1cm} = \hspace{0.1cm} p \cdot {\rm ln}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm}} + (1-p) \cdot {\rm ln}\hspace{0.1cm}\frac{1}{1-p}\hspace{0.15cm}{\rm in \hspace{0.15cm} [nat]}\hspace{0.05cm}.$$		:$$ H'_{\rm bin}(p) \hspace{0.1cm} = \hspace{0.1cm} p \cdot {\rm ln}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm}} + (1-p) \cdot {\rm ln}\hspace{0.1cm}\frac{1}{1-p}\hspace{0.15cm}{\rm in \hspace{0.15cm} \big [nat\big ]}\hspace{0.05cm}.$$
	In diesen Gleichungen werden als Kurzbezeichnungen verwendet:		In diesen Gleichungen werden als Kurzbezeichnungen verwendet:

Zeile 17:		Zeile 17:
	Die Grafik zeigt diese binäre Entropiefunktion in Abhängigkeit des Parameters $p$, wobei $0 ≤ p ≤ 1$ vorausgesetzt wird.		Die Grafik zeigt diese binäre Entropiefunktion in Abhängigkeit des Parameters $p$, wobei $0 ≤ p ≤ 1$ vorausgesetzt wird.

	In den Teilaufgaben (5) und (6) soll der relative Fehler ermittelt werden, wenn die Symbolwahrscheinlichkeit $p$ per Simulation (also als relative Häufigkeit $h$) ermittelt wurde und sich dabei fälschlicherweise $h = 0.9 \cdot p$ ergeben hat. Der relative Fehler ist dann wie folgt gegeben:		In den Teilaufgaben '''(5)''' und '''(6)''' soll der relative Fehler ermittelt werden, wenn die Symbolwahrscheinlichkeit  $p$  per Simulation (also als relative Häufigkeit $h$) ermittelt wurde und sich dabei fälschlicherweise  $h = 0.9 \cdot p$  ergeben hat. Der relative Fehler ist dann wie folgt gegeben:
	:$$\varepsilon_{H} = \frac{H_{\rm bin}(h)- H_{\rm bin}(p)}{H_{\rm bin}(p)}\hspace{0.05cm}.$$		:$$\varepsilon_{H} = \frac{H_{\rm bin}(h)- H_{\rm bin}(p)}{H_{\rm bin}(p)}\hspace{0.05cm}.$$


	''~~Hinweise~~:''		''Hinweis:''
	*Die Aufgabe gehört zum Kapitel [[Informationstheorie/Gedächtnislose_Nachrichtenquellen\|Gedächtnislose Nachrichtenquellen]].		*Die Aufgabe gehört zum Kapitel [[Informationstheorie/Gedächtnislose_Nachrichtenquellen\|Gedächtnislose Nachrichtenquellen]].

Zeile 29:		Zeile 29:

	<quiz display=simple>		<quiz display=simple>
	{Wie hängen $H_{\rm bin}(p)$ in bit und $H'_{\rm bin}(p)$ in nat zusammen?		{Wie hängen $H_{\rm bin}(p)$ mit der Einheit &bdquo;bit” und $H'_{\rm bin}(p)$ mit der Einheit &bdquo;nat” zusammen?
	\|type="[]"}		\|type="[]"}
	+ $H_{\rm bin}(p)$ und $H'_{\rm bin}(p)$ unterscheiden sich um einen Faktor.		+ $H_{\rm bin}(p)$ und $H'_{\rm bin}(p)$ unterscheiden sich um einen Faktor.
Zeile 38:		Zeile 38:
	{Zeigen Sie, dass sich das Maximum der binären Entropiefunktion für $p = 0.5$ ergibt. Wie groß ist $H_\text{bin}(p = 0.5)$?		{Zeigen Sie, dass sich das Maximum der binären Entropiefunktion für $p = 0.5$ ergibt. Wie groß ist $H_\text{bin}(p = 0.5)$?
	\|type="{}"}		\|type="{}"}
	$H_\text{bin}(p = 0.5) \ = $ { 1 } $\ \rm bit$		$H_\text{bin}(p = 0.5) \ = \ $ { 1 } $\ \rm bit$


	{Berechnen Sie den binären Entropiewert für $p = 0.05$.		{Berechnen Sie den binären Entropiewert für $p = 0.05$.
	\|type="{}"}		\|type="{}"}
	$H_\text{bin}(p = 0.05) \ = $ { 0.286 3% } $\ \rm bit$		$H_\text{bin}(p = 0.05) \ = \ $ { 0.286 3% } $\ \rm bit$


	{Geben Sie den größeren der beiden $p$–Werte ein, die sich aus der Gleichung $H_\text{bin}(p)= 0.5 \ \rm bit$ ergeben.		{Geben Sie den größeren der beiden $p$–Werte ein, die sich aus der Gleichung $H_\text{bin}(p)= 0.5 \ \rm bit$ ergeben.
	\|type="{}"}		\|type="{}"}
	$p \ = $ { 0.89 3% }		$p \ = \ $ { 0.89 3% }


	{Durch unzureichende Simulation wurde $p = 0.5$ um $10\%$ zu niedrig ermittelt. Wie groß ist der prozentuale Fehler hinsichtlich der Entropie?		{Durch unzureichende Simulation wurde $p = 0.5$ um $10\%$ zu niedrig ermittelt. <br>Wie groß ist der prozentuale Fehler hinsichtlich der Entropie?
	\|type="{}"}		\|type="{}"}
	$p = 0.45\ {\rm statt}\ p=0.5\hspace{-0.1cm}:\ \ \varepsilon_H \ = $ { -0.72--0.68 } $\ \rm \%$		$p = 0.45\ {\rm statt}\ p=0.5\hspace{-0.1cm}:\ \ \varepsilon_H \ = \ $ { -0.72--0.68 } $\ \rm \%$


	{Durch unzureichende Simulation wurde $p = 0.05$ um $10\%$ zu niedrig ermittelt. Wie groß ist der prozentuale Fehler hinsichtlich der Entropie?		{Durch unzureichende Simulation wurde $p = 0.05$ um $10\%$ zu niedrig ermittelt. <br>Wie groß ist der prozentuale Fehler hinsichtlich der Entropie?
	\|type="{}"}		\|type="{}"}
	$p = 0.045\ {\rm statt}\ p=0.05\hspace{-0.1cm}:\ \ \varepsilon_H \ = $ { -7.44--7.16 } $\ \rm \%$		$p = 0.045\ {\rm statt}\ p=0.05\hspace{-0.1cm}:\ \ \varepsilon_H \ = \ $ { -7.44--7.16 } $\ \rm \%$

Mwiki-lnt: Textersetzung - „*Sollte die Eingabe des Zahlenwertes „0” erforderlich sein, so geben Sie bitte „0.” ein.“ durch „ “

2018-05-29T12:02:35Z

Textersetzung - „*Sollte die Eingabe des Zahlenwertes „0” erforderlich sein, so geben Sie bitte „0.” ein.“ durch „ “

← Nächstältere Version		Version vom 29. Mai 2018, 14:02 Uhr
Zeile 23:		Zeile 23:
	''Hinweise:''		''Hinweise:''
	*Die Aufgabe gehört zum Kapitel [[Informationstheorie/Gedächtnislose_Nachrichtenquellen\|Gedächtnislose Nachrichtenquellen]].		*Die Aufgabe gehört zum Kapitel [[Informationstheorie/Gedächtnislose_Nachrichtenquellen\|Gedächtnislose Nachrichtenquellen]].
	*Sollte die Eingabe des Zahlenwertes &bdquo;0” erforderlich sein, so geben Sie bitte &bdquo;0.” ein.

Guenter: Guenter verschob die Seite Aufgaben:1.1Z Binäre Entropiefunktion nach Aufgaben:Aufgabe 1.1Z: Binäre Entropiefunktion

2018-01-03T13:53:25Z

Guenter verschob die Seite Aufgaben:1.1Z Binäre Entropiefunktion nach Aufgaben:Aufgabe 1.1Z: Binäre Entropiefunktion

← Nächstältere Version		Version vom 3. Januar 2018, 15:53 Uhr
(kein Unterschied)

← Nächstältere Version		Version vom 12. Dezember 2019, 15:54 Uhr
Zeile 3:		Zeile 3:
	}}		}}

	[[Datei:P_ID2234__Inf_Z_1_1.png\|right\|frame\|Binäre Entropiefunktion in &bdquo;bit” und &bdquo;nat”]]		[[Datei:P_ID2234__Inf_Z_1_1.png\|right\|frame\|Binäre Entropiefunktion <br>in &bdquo;bit” und &bdquo;nat”]]
	Wir betrachten eine Folge von binären Zufallsgrößen mit dem Symbolvorrat $\{ \rm A, \ B \}$   ⇒   $M = 2$. Die Auftrittswahrscheinlichkeiten der beiden Symbole seien $p_{\rm A }= p$  und  $p_{\rm B } = 1 - p$.		Wir betrachten eine Folge von binären Zufallsgrößen mit dem Symbolvorrat  $\{ \rm A, \ B \}$   ⇒   $M = 2$.  Die Auftrittswahrscheinlichkeiten der beiden Symbole seien  $p_{\rm A }= p$  und  $p_{\rm B } = 1 - p$.

	Die einzelnen Folgenelemente sind statistisch unabhängig. Für die Entropie dieser Nachrichtenquelle gilt gleichermaßen:		Die einzelnen Folgenelemente sind statistisch unabhängig.  Für die Entropie dieser Nachrichtenquelle gilt gleichermaßen:
	:$$H_{\rm bin}(p) \hspace{0.1cm} = \hspace{0.1cm} p \cdot {\rm ld}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm}} + (1-p) \cdot {\rm ld}\hspace{0.1cm}\frac{1}{1-p}\hspace{0.15cm}{\rm in \hspace{0.15cm} \big [bit \big ]}\hspace{0.05cm},$$		:$$H_{\rm bin}(p) \hspace{0.1cm} = \hspace{0.1cm} p \cdot {\rm ld}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm}} + (1-p) \cdot {\rm ld}\hspace{0.1cm}\frac{1}{1-p}\hspace{0.15cm}{\rm in \hspace{0.15cm} \big [bit \big ]}\hspace{0.05cm},$$
	:$$ H'_{\rm bin}(p) \hspace{0.1cm} = \hspace{0.1cm} p \cdot {\rm ln}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm}} + (1-p) \cdot {\rm ln}\hspace{0.1cm}\frac{1}{1-p}\hspace{0.15cm}{\rm in \hspace{0.15cm} \big [nat\big ]}\hspace{0.05cm}.$$		:$$ H'_{\rm bin}(p) \hspace{0.1cm} = \hspace{0.1cm} p \cdot {\rm ln}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm}} + (1-p) \cdot {\rm ln}\hspace{0.1cm}\frac{1}{1-p}\hspace{0.15cm}{\rm in \hspace{0.15cm} \big [nat\big ]}\hspace{0.05cm}.$$
	In diesen Gleichungen werden als Kurzbezeichnungen verwendet:		In diesen Gleichungen werden als Kurzbezeichnungen verwendet:

	* der <i>natürliche</i> Logarithmus   ⇒   $ \ln \hspace{0.05cm} p = \log_{\rm e} \hspace{0.05cm} p$,		* der <i>natürliche</i>  Logarithmus   ⇒   $ \ln \hspace{0.05cm} p = \log_{\rm e} \hspace{0.05cm} p$,
	* der Logarithmus <i>dualis</i>   ⇒   ${\rm ld} \hspace{0.05cm} p = \log_2 \hspace{0.05cm} p$.		* der Logarithmus <i>dualis</i>   ⇒   ${\rm ld} \hspace{0.05cm} p = \log_2 \hspace{0.05cm} p$.


	Die Grafik zeigt ~~diese~~ binäre Entropiefunktion in Abhängigkeit des Parameters $p$, wobei $0 ≤ p ≤ 1$ vorausgesetzt wird.		Die Grafik zeigt die binäre Entropiefunktion in Abhängigkeit des Parameters  $p$, wobei  $0 ≤ p ≤ 1$  vorausgesetzt wird.

	In den Teilaufgaben '''(5)''' und '''(6)''' soll der relative Fehler ermittelt werden, wenn die Symbolwahrscheinlichkeit  $p$  per Simulation (also als relative Häufigkeit $h$) ermittelt wurde und sich dabei fälschlicherweise  $h = 0.9 \cdot p$  ergeben hat. Der relative Fehler ist dann wie folgt gegeben:		In den Teilaufgaben  '''(5)'''  und  '''(6)'''  soll der relative Fehler ermittelt werden, wenn die Symbolwahrscheinlichkeit  $p$  per Simulation  $($also als relative Häufigkeit  $h)$  ermittelt wurde und sich dabei fälschlicherweise  $h = 0.9 \cdot p$  ergeben hat.  Der relative Fehler ist dann wie folgt gegeben:
	:$$\varepsilon_{H} = \frac{H_{\rm bin}(h)- H_{\rm bin}(p)}{H_{\rm bin}(p)}\hspace{0.05cm}.$$		:$$\varepsilon_{H} = \frac{H_{\rm bin}(h)- H_{\rm bin}(p)}{H_{\rm bin}(p)}\hspace{0.05cm}.$$






	''Hinweis:''		''Hinweis:''
	*Die Aufgabe gehört zum Kapitel [[Informationstheorie/Gedächtnislose_Nachrichtenquellen\|Gedächtnislose Nachrichtenquellen]].		*Die Aufgabe gehört zum Kapitel  [[Informationstheorie/Gedächtnislose_Nachrichtenquellen\|Gedächtnislose Nachrichtenquellen]].

← Nächstältere Version		Version vom 18. September 2018, 11:37 Uhr
Zeile 65:		Zeile 65:
	===Musterlösung===		===Musterlösung===
	{{ML-Kopf}}		{{ML-Kopf}}
	~~<i>Hinweis:</i> Aus Platzgründen verwenden wir in dieser Musterlösung &bdquo;ld” anstelle von &bdquo;log<sub>2</sub>”.~~

	'''(1)'''  Richtig ist der <u>erste Lösungsvorschlag</u>. Die beiden weiteren Vorgaben machen keinen Sinn.		'''(1)'''  Richtig ist der <u>erste Lösungsvorschlag</u>. Die beiden weiteren Vorgaben machen keinen Sinn.
	*Die Entropiefunktion $H'_{\rm bin}(p)$ lautet entsprechend der Angabe:		*Die Entropiefunktion $H'_{\rm bin}(p)$ lautet entsprechend der Angabe:
	:$$H'_{\rm bin}(p) \hspace{0.1cm} = \hspace{0.1cm} p \cdot {\rm ln}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm}} + (1-p) \cdot {\rm ln}\hspace{0.1cm}\frac{1}{1-p} = {\rm ln}\hspace{0.1cm}2 \cdot \left [ p \cdot {\rm ld}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm}} + (1-p) \cdot {\rm ld}\hspace{0.1cm}\frac{1}{1-p}\right ]$$		:$$H'_{\rm bin}(p) \hspace{0.1cm} = \hspace{0.1cm} p \cdot {\rm ln}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm}} + (1-p) \cdot {\rm ln}\hspace{0.1cm}\frac{1}{1-p} = {\rm ln}\hspace{0.1cm}2 \cdot \left [ p \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm}} + (1-p) \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{1-p}\right ]$$
	:$$\Rightarrow \hspace{0.3cm} H'_{\rm bin}(p) \hspace{0.15cm}{\rm (in \hspace{0.15cm} nat)}=		:$$\Rightarrow \hspace{0.3cm} H'_{\rm bin}(p) \hspace{0.15cm}{\rm (in \hspace{0.15cm} nat)}=
	{\rm ln}\hspace{0.1cm}2 \cdot H_{\rm bin}(p) \hspace{0.15cm}{\rm (in \hspace{0.15cm} bit)} = 0.693\cdot H_{\rm bin}(p)\hspace{0.05cm}.$$		{\rm ln}\hspace{0.1cm}2 \cdot H_{\rm bin}(p) \hspace{0.15cm}{\rm (in \hspace{0.15cm} bit)} = 0.693\cdot H_{\rm bin}(p)\hspace{0.05cm}.$$


	'''(2)'''  Die Optimierungsbedingung lautet ${\rm d}H_{\rm bin}(p)/{\rm d}p = 0$ bzw.		'''(2)'''  Die Optimierungsbedingung lautet ${\rm d}H_{\rm bin}(p)/{\rm d}p = 0$ bzw.
	:$$\frac{{\rm d}H'_{\rm bin}(p)}{{\rm d}p} \stackrel{!}{=} 0 \hspace{0.3cm}\Rightarrow \hspace{0.3cm} \frac{\rm d}{{\rm d}p}		:$$\frac{{\rm d}H'_{\rm bin}(p)}{{\rm d}p} \stackrel{!}{=} 0 \hspace{0.3cm}\Rightarrow \hspace{0.3cm} \frac{\rm d}{{\rm d}p}
	\~~left~~ [ - p \cdot {\rm ln}\hspace{0.1cm}p - (1-p) \cdot {\rm ln}\hspace{0.1cm}({1-p})\~~right~~ ] \stackrel{!}{=} 0$$		\big [ - p \cdot {\rm ln}\hspace{0.1cm}p - (1-p) \cdot {\rm ln}\hspace{0.1cm}({1-p})\big ] \stackrel{!}{=} 0$$
	:$$\Rightarrow \hspace{0.3cm}		:$$\Rightarrow \hspace{0.3cm}
	- {\rm ln}\hspace{0.1cm}p - p \cdot \frac {1}{p}+ {\rm ln}\hspace{0.1cm}(1-p) + (1-p)\cdot \frac {1}{1- p}\stackrel{!}{=} 0$$		- {\rm ln}\hspace{0.1cm}p - p \cdot \frac {1}{p}+ {\rm ln}\hspace{0.1cm}(1-p) + (1-p)\cdot \frac {1}{1- p}\stackrel{!}{=} 0$$
Zeile 82:		Zeile 81:
	Die Entropiewerte für $p = 0.5$ lauten somit:		Die Entropiewerte für $p = 0.5$ lauten somit:
	:$$H'_{\rm bin}(p = 0.5) \hspace{0.1cm} = \hspace{0.1cm} -2 \cdot 0.5 \cdot {\rm ln}\hspace{0.1cm}0.5 = {\rm ln}\hspace{0.1cm}2 = 0.693 \, {\rm nat}\hspace{0.05cm},$$		:$$H'_{\rm bin}(p = 0.5) \hspace{0.1cm} = \hspace{0.1cm} -2 \cdot 0.5 \cdot {\rm ln}\hspace{0.1cm}0.5 = {\rm ln}\hspace{0.1cm}2 = 0.693 \, {\rm nat}\hspace{0.05cm},$$
	:$$ H_{\rm bin}(p = 0.5) \hspace{0.1cm} = \hspace{0.1cm} -2 \cdot 0.5 \cdot {\rm ld}\hspace{0.1cm}0.5 = {\rm ld}\hspace{0.1cm}2 \hspace{0.15cm}\underline {= 1 \, {\rm bit}}\hspace{0.05cm}.$$		:$$ H_{\rm bin}(p = 0.5) \hspace{0.1cm} = \hspace{0.1cm} -2 \cdot 0.5 \cdot {\rm ld}\hspace{0.1cm}0.5 = {\rm log_2}\hspace{0.1cm}2 \hspace{0.15cm}\underline {= 1 \, {\rm bit}}\hspace{0.05cm}.$$


	'''(3)'''  Für $p = 5\%$ erhält man:		'''(3)'''  Für $p = 5\%$ erhält man:
	:$$H_{\rm bin}(p = 0.05) \hspace{0.1cm} = \hspace{0.1cm} 0.05 \cdot {\rm ld}\hspace{0.1cm}\frac{1}{0.05}+ 0.95 \cdot {\rm ld}\hspace{0.1cm}\frac{1}{0.95}= \frac{1}{0.693} \cdot \~~left~~ [ 0.05 \cdot {\rm ln}\hspace{0.1cm}20+ 0.95 \cdot {\rm ln}\hspace{0.1cm}1.053\~~right~~ ]		:$$H_{\rm bin}(p = 0.05) \hspace{0.1cm} = \hspace{0.1cm} 0.05 \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{0.05}+ 0.95 \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{0.95}= \frac{1}{0.693} \cdot \big [ 0.05 \cdot {\rm ln}\hspace{0.1cm}20+ 0.95 \cdot {\rm ln}\hspace{0.1cm}1.053\big ]
	\hspace{0.15cm}\underline {\approx 0.286 \, {\rm bit}}\hspace{0.05cm}.$$		\hspace{0.15cm}\underline {\approx 0.286 \, {\rm bit}}\hspace{0.05cm}.$$


	'''(4)'''  Diese Teilaufgabe lässt sich nicht in geschlossener Form lösen, sondern durch &bdquo;Probieren”. Eine Lösung liefert das Ergebnis:		'''(4)'''  Diese Teilaufgabe lässt sich nicht in geschlossener Form lösen, sondern durch &bdquo;Probieren”. Eine Lösung liefert das Ergebnis:
Zeile 92:		Zeile 93:
	H_{\rm bin}(p = 0.11) \approx 0.5 \, {\rm bit} \hspace{0.3cm}		H_{\rm bin}(p = 0.11) \approx 0.5 \, {\rm bit} \hspace{0.3cm}
	\Rightarrow \hspace{0.3cm}p_1 \approx 0.11\hspace{0.05cm}. $$		\Rightarrow \hspace{0.3cm}p_1 \approx 0.11\hspace{0.05cm}. $$
	Die zweite (gesuchte) Lösung ergibt sich aus der Symmetrie von $H_{\rm bin}(p)$ zu $p_2 = 1 -p_1 \hspace{0.15cm}\underline{= 0.89}$.		Die zweite (gesuchte) Lösung ergibt sich aus der Symmetrie von $H_{\rm bin}(p)$ zu  $p_2 = 1 -p_1 \hspace{0.15cm}\underline{= 0.89}$.


	'''(5)'''  Mit $p = 0.45$ erhält man $H_{\rm bin}(p) = 0.993\hspace{0.05cm}\rm bit$. Der relative Fehler bezüglich Entropie ist somit		'''(5)'''  Mit $p = 0.45$ erhält man $H_{\rm bin}(p) = 0.993\hspace{0.05cm}\rm bit$. Der relative Fehler bezüglich Entropie ist somit
Zeile 98:		Zeile 100:
	\hspace{0.05cm}.$$		\hspace{0.05cm}.$$
	Das Minuszeichen deutet darauf hin, dass der Entropiewert $H_{\rm bin}(p) = 0.993\hspace{0.05cm}\rm bit$ zu klein ist. Hätte die Simulation den zu großen Wert $p = 0.55$ ergeben, so wäre die Entropie und auch der relative Fehler genau so groß.		Das Minuszeichen deutet darauf hin, dass der Entropiewert $H_{\rm bin}(p) = 0.993\hspace{0.05cm}\rm bit$ zu klein ist. Hätte die Simulation den zu großen Wert $p = 0.55$ ergeben, so wäre die Entropie und auch der relative Fehler genau so groß.


	'''(6)'''  Es gilt $H_{\rm bin}(p = 0.045) = 0.265\hspace{0.05cm}\rm bit$. Mit dem Ergebnis der Teilaufgabe (3)   ⇒   $H_{\rm bin}(p = 0.05) = 0.286\hspace{0.05cm}\rm bit$folgt daraus für den relativen Fehler bezüglich der Entropie:		'''(6)'''  Es gilt $H_{\rm bin}(p = 0.045) = 0.265\hspace{0.05cm}\rm bit$. Mit dem Ergebnis der Teilaufgabe (3)   ⇒   $H_{\rm bin}(p = 0.05) = 0.286\hspace{0.05cm}\rm bit$folgt daraus für den relativen Fehler bezüglich der Entropie: