Aufgaben:Aufgabe 3.5: Kullback-Leibler-Distanz & Binominalverteilung - Versionsgeschichte

Maintenance script: Add English interlanguage link

2026-03-16T12:36:36Z

Add English interlanguage link

← Nächstältere Version		Version vom 16. März 2026, 14:36 Uhr
Zeile 140:		Zeile 140:
	Ob diese Aussage relevant ist, lasse ich dahingestellt. Denn: Aufgrund der stetigen Zunahme von <i>H</i>(<i>Y</i>) mit zunehmendem <i>λ</i> ist klar, dass für irgendeinen <i>λ</i>–Wert tatsächlich <i>H</i>(<i>Y</i>) = <i>H</i>(<i>X</i>) gelten muss.		Ob diese Aussage relevant ist, lasse ich dahingestellt. Denn: Aufgrund der stetigen Zunahme von <i>H</i>(<i>Y</i>) mit zunehmendem <i>λ</i> ist klar, dass für irgendeinen <i>λ</i>–Wert tatsächlich <i>H</i>(<i>Y</i>) = <i>H</i>(<i>X</i>) gelten muss.
	{{ML-Fuß}}		{{ML-Fuß}}
			[[en:Aufgaben:Aufgabe_3.5:_Kullback-Leibler-Distanz_&_Binominalverteilung]]

Maintenance script: Join multi-line formulas for MW 1.43 parser compat

2026-02-24T13:39:23Z

Join multi-line formulas for MW 1.43 parser compat

← Nächstältere Version		Version vom 24. Februar 2026, 15:39 Uhr
Zeile 7:		Zeile 7:

	* Wertebereich:		* Wertebereich:
	:$$X = \{\hspace{0.05cm}0\hspace{0.05cm}, \hspace{0.05cm} 1\hspace{0.05cm},\hspace{0.05cm}		:$$X = \{\hspace{0.05cm}0\hspace{0.05cm}, \hspace{0.05cm} 1\hspace{0.05cm},\hspace{0.05cm}2\hspace{0.05cm},\hspace{0.05cm} ...\hspace{0.1cm} ,\hspace{0.05cm} {\mu}\hspace{0.05cm}, \hspace{0.05cm}...\hspace{0.1cm} , \hspace{0.05cm} I\hspace{0.05cm}\}\hspace{0.05cm},$$
	2\hspace{0.05cm},\hspace{0.05cm} ...\hspace{0.1cm} ,\hspace{0.05cm} {\mu}\hspace{0.05cm}, \hspace{0.05cm}...\hspace{0.1cm} , \hspace{0.05cm} I\hspace{0.05cm}\}\hspace{0.05cm},$$
	* Wahrscheinlichkeiten:		* Wahrscheinlichkeiten:
	:$$P_X (X = \mu) = {I \choose \mu} \cdot p^{\mu} \cdot (1-p)^{I-\mu} \hspace{0.05cm},$$		:$$P_X (X = \mu) = {I \choose \mu} \cdot p^{\mu} \cdot (1-p)^{I-\mu} \hspace{0.05cm},$$
Zeile 21:		Zeile 20:

	* Wertebereich:		* Wertebereich:
	:$$Y = \{\hspace{0.05cm}0\hspace{0.05cm}, \hspace{0.05cm} 1\hspace{0.05cm},\hspace{0.05cm}		:$$Y = \{\hspace{0.05cm}0\hspace{0.05cm}, \hspace{0.05cm} 1\hspace{0.05cm},\hspace{0.05cm}2\hspace{0.05cm},\hspace{0.05cm} ...\hspace{0.1cm} ,\hspace{0.05cm} {\mu}\hspace{0.05cm}, \hspace{0.05cm}...\hspace{0.1cm}\}\hspace{0.05cm},$$
	2\hspace{0.05cm},\hspace{0.05cm} ...\hspace{0.1cm} ,\hspace{0.05cm} {\mu}\hspace{0.05cm}, \hspace{0.05cm}...\hspace{0.1cm}\}\hspace{0.05cm},$$
	* Wahrscheinlichkeiten:		* Wahrscheinlichkeiten:
	:$$P_Y (Y = \mu) = \frac{\lambda^{\mu}}{\mu !} \cdot {\rm e}^{\lambda} \hspace{0.05cm},$$		:$$P_Y (Y = \mu) = \frac{\lambda^{\mu}}{\mu !} \cdot {\rm e}^{\lambda} \hspace{0.05cm},$$
Zeile 44:		Zeile 42:

	*Um die numerischen Berechnungen in Grenzen zu halten, werden folgende Hilfsgrößen vorgegeben; &bdquo;lg” bezeichnet den Logarithmus zur Basis 10:		*Um die numerischen Berechnungen in Grenzen zu halten, werden folgende Hilfsgrößen vorgegeben; &bdquo;lg” bezeichnet den Logarithmus zur Basis 10:
	:$$A' =		:$$A' =0.4096 \cdot {\rm lg} \hspace{0.1cm} \frac{0.4096}{0.3679} +0.2048 \cdot {\rm lg} \hspace{0.1cm} \frac{0.2048}{0.1839} +0.0512 \cdot {\rm lg} \hspace{0.1cm} \frac{0.0512}{0.0613} +0.0064 \cdot {\rm lg} \hspace{0.1cm} \frac{0.0064}{0.0153} +0.0003 \cdot {\rm lg} \hspace{0.1cm} \frac{0.0003}{0.0031} \hspace{0.05cm},$$
	0.4096 \cdot {\rm lg} \hspace{0.1cm} \frac{0.4096}{0.3679} +		:$$B' =0.1839 \cdot {\rm lg} \hspace{0.1cm} (0.1839) +0.0613 \cdot {\rm lg} \hspace{0.1cm} (0.0613) +0.0153 \cdot {\rm lg} \hspace{0.1cm} (0.0153) +0.0031 \cdot {\rm lg} \hspace{0.1cm} (0.0031) +0.0005 \cdot {\rm lg} \hspace{0.1cm} (0.0005) +0.0001 \cdot {\rm lg} \hspace{0.1cm} (0.0001)$$
	0.2048 \cdot {\rm lg} \hspace{0.1cm} \frac{0.2048}{0.1839} +		:$$\Rightarrow \hspace{0.3cm} A' \hspace{0.15cm} \underline {= 0.021944} \hspace{0.05cm},\hspace{0.5cm}B' \hspace{0.15cm} \underline {= -0.24717} \hspace{0.05cm}.$$
	0.0512 \cdot {\rm lg} \hspace{0.1cm} \frac{0.0512}{0.0613} +
	0.0064 \cdot {\rm lg} \hspace{0.1cm} \frac{0.0064}{0.0153} +
	0.0003 \cdot {\rm lg} \hspace{0.1cm} \frac{0.0003}{0.0031} \hspace{0.05cm},$$
	:$$B' =
	0.1839 \cdot {\rm lg} \hspace{0.1cm} (0.1839) +
	0.0613 \cdot {\rm lg} \hspace{0.1cm} (0.0613) +
	0.0153 \cdot {\rm lg} \hspace{0.1cm} (0.0153) +
	0.0031 \cdot {\rm lg} \hspace{0.1cm} (0.0031) +
	0.0005 \cdot {\rm lg} \hspace{0.1cm} (0.0005) +
	0.0001 \cdot {\rm lg} \hspace{0.1cm} (0.0001)$$
	:$$\Rightarrow \hspace{0.3cm} A' \hspace{0.15cm} \underline {= 0.021944} \hspace{0.05cm},\hspace{0.5cm}
	B' \hspace{0.15cm} \underline {= -0.24717} \hspace{0.05cm}.$$


Zeile 126:		Zeile 112:
	:$$D = D(P_X \hspace{0.05cm}\|\| \hspace{0.05cm} P_Y) =\hspace{0.2cm} \sum_{\mu = 0}^{5} P_X(\mu) \cdot {\rm log}_2 \hspace{0.1cm} \frac{P_X(\mu)}{P_Y(\mu)} \hspace{0.05cm}.$$		:$$D = D(P_X \hspace{0.05cm}\|\| \hspace{0.05cm} P_Y) =\hspace{0.2cm} \sum_{\mu = 0}^{5} P_X(\mu) \cdot {\rm log}_2 \hspace{0.1cm} \frac{P_X(\mu)}{P_Y(\mu)} \hspace{0.05cm}.$$
	Bei Verwendung des Zehnerlogarithmus (&bdquo;lg”) erhalten wir für die Poisson–Näherung mit <i>λ</i> = 1:		Bei Verwendung des Zehnerlogarithmus (&bdquo;lg”) erhalten wir für die Poisson–Näherung mit <i>λ</i> = 1:
	:$$D \hspace{0.05cm}' = 0.3277 \cdot {\rm lg} \hspace{0.1cm} \frac{0.3277}{0.3679} + A \hspace{0.05cm}' =		:$$D \hspace{0.05cm}' = 0.3277 \cdot {\rm lg} \hspace{0.1cm} \frac{0.3277}{0.3679} + A \hspace{0.05cm}' = -0.016468 + 0.021944 = 0.005476 \hspace{0.05cm}.$$
	-0.016468 + 0.021944 = 0.005476 \hspace{0.05cm}.$$
	Nach Umrechnung auf den Zweierlogarithmus (&bdquo;log<sub>2</sub>”) erhält man schließlich:		Nach Umrechnung auf den Zweierlogarithmus (&bdquo;log<sub>2</sub>”) erhält man schließlich:
	:$$D = D(P_X \hspace{0.05cm}\|\| \hspace{0.05cm} P_Y) = \frac{0.005476}{{\rm lg} \hspace{0.1cm}(2)} \hspace{0.15cm} \underline {\approx 0.0182\,{\rm (bit)}}\hspace{0.05cm}.$$		:$$D = D(P_X \hspace{0.05cm}\|\| \hspace{0.05cm} P_Y) = \frac{0.005476}{{\rm lg} \hspace{0.1cm}(2)} \hspace{0.15cm} \underline {\approx 0.0182\,{\rm (bit)}}\hspace{0.05cm}.$$

	'''(4)'''  Unter Verwendung des Zehnerlogarithmus lautet die Entropie der Poisson–Näherung (<i>λ</i> = 1):		'''(4)'''  Unter Verwendung des Zehnerlogarithmus lautet die Entropie der Poisson–Näherung (<i>λ</i> = 1):
	:$$H\hspace{0.05cm}'(Y) = -{\rm E} \left [{\rm lg} \hspace{0.1cm} {P_Y(Y)} \right ]		:$$H\hspace{0.05cm}'(Y) = -{\rm E} \left [{\rm lg} \hspace{0.1cm} {P_Y(Y)} \right ]= -2 \cdot 0.3679 \cdot {\rm lg} \hspace{0.1cm} (0.3679) - B\hspace{0.05cm}' = 0.31954 + 0.24717 = 0.56126.$$
	= -2 \cdot 0.3679 \cdot {\rm lg} \hspace{0.1cm} (0.3679) - B\hspace{0.05cm}' = 0.31954 + 0.24717 = 0.56126.$$
	Die Umrechnung in &bdquo;bit” liefert das gesuchte Ergebnis:		Die Umrechnung in &bdquo;bit” liefert das gesuchte Ergebnis:
	:$$H(Y) = \frac{0.56126}{{\rm lg} \hspace{0.1cm}(2)}		:$$H(Y) = \frac{0.56126}{{\rm lg} \hspace{0.1cm}(2)}\hspace{0.15cm} \underline {= 1.864\,{\rm (bit)}} \hspace{0.05cm}.$$
	\hspace{0.15cm} \underline {= 1.864\,{\rm (bit)}} \hspace{0.05cm}.$$

	'''(5)'''  Richtig ist die <u>Aussage 1</u>. Bei der numerischen Berechnung der Kullback–Leibler–Distanz ist		'''(5)'''  Richtig ist die <u>Aussage 1</u>. Bei der numerischen Berechnung der Kullback–Leibler–Distanz ist

Guenter am 8. Oktober 2018 um 10:07 Uhr

2018-10-08T10:07:18Z

← Nächstältere Version		Version vom 8. Oktober 2018, 12:07 Uhr
Zeile 157:		Zeile 157:
	Ob diese Aussage relevant ist, lasse ich dahingestellt. Denn: Aufgrund der stetigen Zunahme von <i>H</i>(<i>Y</i>) mit zunehmendem <i>λ</i> ist klar, dass für irgendeinen <i>λ</i>–Wert tatsächlich <i>H</i>(<i>Y</i>) = <i>H</i>(<i>X</i>) gelten muss.		Ob diese Aussage relevant ist, lasse ich dahingestellt. Denn: Aufgrund der stetigen Zunahme von <i>H</i>(<i>Y</i>) mit zunehmendem <i>λ</i> ist klar, dass für irgendeinen <i>λ</i>–Wert tatsächlich <i>H</i>(<i>Y</i>) = <i>H</i>(<i>X</i>) gelten muss.
	{{ML-Fuß}}		{{ML-Fuß}}



	~~[[Category:Aufgaben zu Informationstheorie\|Aufgaben zu Informationstheorie]]~~

Guenter am 8. Oktober 2018 um 08:56 Uhr

2018-10-08T08:56:49Z

← Nächstältere Version		Version vom 8. Oktober 2018, 10:56 Uhr
Zeile 160:		Zeile 160:


	[[Category:Aufgaben zu Informationstheorie\|~~^3.1 Allgemeines~~ zu ~~2D-Zufallsgrößen^~~]]		[[Category:Aufgaben zu Informationstheorie\|Aufgaben zu Informationstheorie]]

Mwiki-lnt: Textersetzung - „*Sollte die Eingabe des Zahlenwertes „0” erforderlich sein, so geben Sie bitte „0.” ein.“ durch „ “

2018-05-29T12:02:52Z

Textersetzung - „*Sollte die Eingabe des Zahlenwertes „0” erforderlich sein, so geben Sie bitte „0.” ein.“ durch „ “

← Nächstältere Version		Version vom 29. Mai 2018, 14:02 Uhr
Zeile 42:		Zeile 42:
	*Die Aufgabe gehört zum Kapitel [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen\|Einige Vorbemerkungen zu den 2D-Zufallsgrößen]].		*Die Aufgabe gehört zum Kapitel [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen\|Einige Vorbemerkungen zu den 2D-Zufallsgrößen]].
	*Insbesondere wird Bezug genommen auf die Seite [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Relative_Entropie_.E2.80.93_Kullback.E2.80.93Leibler.E2.80.93Distanz\|Relative_Entropie – Kullback-Leibler-Distanz]].		*Insbesondere wird Bezug genommen auf die Seite [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Relative_Entropie_.E2.80.93_Kullback.E2.80.93Leibler.E2.80.93Distanz\|Relative_Entropie – Kullback-Leibler-Distanz]].
	*Sollte die Eingabe des Zahlenwertes &bdquo;0” erforderlich sein, so geben Sie bitte &bdquo;0.” ein.
	*Um die numerischen Berechnungen in Grenzen zu halten, werden folgende Hilfsgrößen vorgegeben; &bdquo;lg” bezeichnet den Logarithmus zur Basis 10:		*Um die numerischen Berechnungen in Grenzen zu halten, werden folgende Hilfsgrößen vorgegeben; &bdquo;lg” bezeichnet den Logarithmus zur Basis 10:
	:$$A' =		:$$A' =

Guenter: Guenter verschob die Seite Aufgaben:3.5 Kullback-Leibler-Distanz & Binominalverteilung nach Aufgaben:Aufgabe 3.5: Kullback-Leibler-Distanz & Binominalverteilung

2018-01-03T14:04:05Z

Guenter verschob die Seite Aufgaben:3.5 Kullback-Leibler-Distanz & Binominalverteilung nach Aufgaben:Aufgabe 3.5: Kullback-Leibler-Distanz & Binominalverteilung

← Nächstältere Version	Version vom 3. Januar 2018, 16:04 Uhr
(kein Unterschied)

Guenter am 5. Juni 2017 um 10:55 Uhr

2017-06-05T10:55:43Z

← Nächstältere Version		Version vom 5. Juni 2017, 12:55 Uhr
Zeile 160:		Zeile 160:


	[[Category:Aufgaben zu Informationstheorie\|^3.1 ~~Vorbemerkungen~~ zu 2D-Zufallsgrößen^]]		[[Category:Aufgaben zu Informationstheorie\|^3.1 Allgemeines zu 2D-Zufallsgrößen^]]

Guenter am 31. Mai 2017 um 09:24 Uhr

2017-05-31T09:24:24Z

← Nächstältere Version		Version vom 31. Mai 2017, 11:24 Uhr
Zeile 108:		Zeile 108:
	===Musterlösung===		===Musterlösung===
	{{ML-Kopf}}		{{ML-Kopf}}
	~~<b>~~1~~.</b> ~~ Bei der Binomialverteilung sind alle Wahrscheinlichkeiten Pr(<i>X</i> > <i>I</i>) = 0  ⇒  <u><i>I</i> = 5</u>. Damit ergibt sich für die Wahrscheinlichkeit, dass <i>X</i> gleich <i>I</i> = 5 ist:		'''(1)'''  Bei der Binomialverteilung sind alle Wahrscheinlichkeiten Pr(<i>X</i> > <i>I</i>) = 0  ⇒  <u><i>I</i> = 5</u>. <br>Damit ergibt sich für die Wahrscheinlichkeit, dass <i>X</i> gleich <i>I</i> = 5 ist:
	:$${\rm Pr} (X = 5) = {5 \choose 5} \cdot p^{5} = p^{5} \approx 0.0003 \hspace{0.05cm}.$$		:$${\rm Pr} (X = 5) = {5 \choose 5} \cdot p^{5} = p^{5} \approx 0.0003 \hspace{0.05cm}.$$
	~~Damit~~ erhält man für		Somit erhält man für

	:* die charakteristische Wahrscheinlichkeit:		* die charakteristische Wahrscheinlichkeit:   $p= (0.0003)^{1/5} = 0.1974 \hspace{0.15cm} \underline {\approx 0.2}\hspace{0.05cm},$
	:$$p= (0.0003)^{1/5} = 0.1974 \hspace{0.15cm} \underline {\approx 0.2}\hspace{0.05cm},$$		* den linearen Mittelwert (Erwartungswert):   $m_X = I \cdot p \hspace{0.15cm} \underline {= 1}\hspace{0.05cm},$
			* die Varianz:   $\sigma_X^2 = I \cdot p \cdot (1-p) \hspace{0.15cm} \underline {= 0.8}\hspace{0.05cm}.$

	~~:* den linearen Mittelwert (Erwartungswert):~~
	~~:$$m_X = I \cdot p \hspace{0.15cm} \underline {= 1}\hspace{0.05cm},$$~~

	:* ~~die Varianz~~:		'''(2)'''  Richtig ist der <u>Lösungsvorschlag 2</u>:
	:$$~~\sigma_X^2~~ = ~~I \cdot p~~ \~~cdot (1-p~~) \hspace{0.~~15cm~~} \~~underline~~ {= 0.8}\hspace{0.05cm}.$$		*Bei Verwendung von <i>D</i>(<i>P<sub>Y</sub></i>\|\|<i>P<sub>X</sub></i>) würde sich unabhängig von <i>λ</i> stets ein unendlicher Wert ergeben, da für <i>μ</i> ≥ 6 gilt:
			:$$P_X (X = \mu) = 0 \hspace{0.05cm},\hspace{0.3cm}P_Y (Y = \mu) \ne 0 \hspace{0.05cm}.$$
			*Auch wenn die Wahrscheinlichkeiten <i>P<sub>Y</sub></i>(<i>Y</i> = <i>μ</i>) für große <i>μ</i> sehr klein werden, sind sie doch &bdquo;unendlich viel größer” als <i>P<sub>X</sub></i>(<i>X</i> = <i>μ</i>).

	<b>2.</b>  Richtig ist der <u>Lösungsvorschlag 2</u>. Bei Verwendung der Kullback–Leibler–Distanz <i>D</i>(<i>P<sub>Y</sub></i>\|\|<i>P<sub>X</sub></i>) würde sich unabhängig von <i>λ</i> stets ein unendlicher Wert ergeben, da für <i>μ</i> ≥ 6 gilt:
	~~:$$P_X (X = \mu) = 0 \hspace{0.05cm},\hspace{0.3cm}P_Y (Y = \mu) \ne 0 \hspace{0.05cm}.$$~~
	Auch wenn die Wahrscheinlichkeiten <i>P<sub>Y</sub></i>(<i>Y</i> = <i>μ</i>) für große <i>μ</i> sehr klein werden, sind sie doch &bdquo;unendlich viel größer” als <i>P<sub>X</sub></i>(<i>X</i> = <i>μ</i>).

	~~<b>~~3~~.</b> ~~ Wir verwenden die erste Kullback–Leibler–Distanz:		'''(3)'''  Wir verwenden die erste Kullback–Leibler–Distanz:
	:$$D = D(P_X \hspace{0.05cm}\|\| \hspace{0.05cm} P_Y) =\hspace{0.2cm} \sum_{\mu = 0}^{5} P_X(\mu) \cdot {\rm log}_2 \hspace{0.1cm} \frac{P_X(\mu)}{P_Y(\mu)} \hspace{0.05cm}.$$		:$$D = D(P_X \hspace{0.05cm}\|\| \hspace{0.05cm} P_Y) =\hspace{0.2cm} \sum_{\mu = 0}^{5} P_X(\mu) \cdot {\rm log}_2 \hspace{0.1cm} \frac{P_X(\mu)}{P_Y(\mu)} \hspace{0.05cm}.$$
	Bei Verwendung des Zehnerlogarithmus (&bdquo;lg”) erhalten wir für die Poisson–Näherung mit <i>λ</i> = 1:		Bei Verwendung des Zehnerlogarithmus (&bdquo;lg”) erhalten wir für die Poisson–Näherung mit <i>λ</i> = 1:
	:$$D \hspace{0.05cm}' = 0.3277 \cdot {\rm lg} \hspace{0.1cm} \frac{0.3277}{0.3679} + A \hspace{0.05cm}' =		:$$D \hspace{0.05cm}' = 0.3277 \cdot {\rm lg} \hspace{0.1cm} \frac{0.3277}{0.3679} + A \hspace{0.05cm}' =
	-0.016468 + 0.021944 = 0.005476 \hspace{0.05cm}.$$		-0.016468 + 0.021944 = 0.005476 \hspace{0.05cm}.$$
	Nach Umrechnung auf den Zweierlogarithmus (&bdquo;log<sub>2</sub>”) erhält man:		Nach Umrechnung auf den Zweierlogarithmus (&bdquo;log<sub>2</sub>”) erhält man schließlich:
	:$$D = D(P_X \hspace{0.05cm}\|\| \hspace{0.05cm} P_Y) = \frac{0.005476}{{\rm lg} \hspace{0.1cm}(2)} \hspace{0.15cm} \underline {\approx 0.0182\,{\rm (bit)}}\hspace{0.05cm}.$$		:$$D = D(P_X \hspace{0.05cm}\|\| \hspace{0.05cm} P_Y) = \frac{0.005476}{{\rm lg} \hspace{0.1cm}(2)} \hspace{0.15cm} \underline {\approx 0.0182\,{\rm (bit)}}\hspace{0.05cm}.$$

	~~<b>~~4~~.</b> ~~ Unter Verwendung des Zehnerlogarithmus lautet die Entropie der Poisson–Näherung (<i>λ</i> = 1):		'''(4)'''  Unter Verwendung des Zehnerlogarithmus lautet die Entropie der Poisson–Näherung (<i>λ</i> = 1):
	:$$H\hspace{0.05cm}'(Y) ~~\hspace{0.15cm}~~ = ~~\hspace{0.15cm}~~ -{\rm E} \left [{\rm lg} \hspace{0.1cm} {P_Y(Y)} \right ]		:$$H\hspace{0.05cm}'(Y) = -{\rm E} \left [{\rm lg} \hspace{0.1cm} {P_Y(Y)} \right ]
	= -2 \cdot 0.3679 \cdot {\rm lg} \hspace{0.1cm} (0.3679) - B\hspace{0.05cm}' =\\		= -2 \cdot 0.3679 \cdot {\rm lg} \hspace{0.1cm} (0.3679) - B\hspace{0.05cm}' = 0.31954 + 0.24717 = 0.56126.$$
	~~= \hspace{0.15cm}~~ 0.31954 + 0.24717 = 0.56126$$
	Die Umrechnung in &bdquo;bit” liefert das gesuchte Ergebnis:		Die Umrechnung in &bdquo;bit” liefert das gesuchte Ergebnis:
	:$$H(Y) = \frac{0.56126}{{\rm lg} \hspace{0.1cm}(2)}		:$$H(Y) = \frac{0.56126}{{\rm lg} \hspace{0.1cm}(2)}
	\hspace{0.15cm} \underline {= 1.864\,{\rm (bit)}} \hspace{0.05cm}.$$		\hspace{0.15cm} \underline {= 1.864\,{\rm (bit)}} \hspace{0.05cm}.$$

	~~<b>~~5~~.</b> ~~ Richtig ist die <u>Aussage 1</u>. Bei der numerischen Berechnung der Kullback–Leibler–Distanz ist		'''(5)'''  Richtig ist die <u>Aussage 1</u>. Bei der numerischen Berechnung der Kullback–Leibler–Distanz ist
			* der Beitrag des <i>μ</i>–ten Terms positiv, falls <i>P<sub>Y</sub></i>(<i>μ</i>) > <i>P<sub>X</sub></i>(<i>μ</i>),
	:* der Beitrag des <i>μ</i>–ten Terms positiv, falls <i>P<sub>Y</sub></i>(<i>μ</i>) > <i>P<sub>X</sub></i>(<i>μ</i>),		* der Beitrag des <i>μ</i>–ten Terms negativ, falls <i>P<sub>Y</sub></i>(<i>μ</i>) < <i>P<sub>X</sub></i>(<i>μ</i>).

	~~:* der Beitrag des <i>μ</i>–ten Terms negativ, falls <i>P<sub>Y</sub></i>(<i>μ</i>) < <i>P<sub>X</sub></i>(<i>μ</i>).~~

	~~<b>~~6~~.</b> ~~ Zutreffend ist der <u>Lösungsvorschlag 1</u>. Auch aus der ~~nachfolgenden~~ Grafik ist ersichtlich, dass <i>D</i>(<i>P<sub>X</sub></i>\|\|<i>P<sub>Y</sub></i>) = 0.0182 bit von keinem anderen <i>λ</i>–Wert als <i>λ</i> = 1 unterschritten wird (grüne Kreuze).		[[Datei:P_ID2761__Inf_A_3_4_C.png\|right\|Kullback–Leibler–Distanz und Entropie]]
	~~[[Datei:P_ID2761__Inf_A_3_4_C.png\|center\|]]~~		'''(6)'''  Zutreffend ist der <u>Lösungsvorschlag 1</u>:
	Weiter erkennt man aus dieser Darstellung, dass man mit <i>λ</i> = 0.9 eine bessere Entropie–Approximation als mit <i>λ</i> = 1 erreicht (blaue Kreise):		*Auch aus der Grafik ist ersichtlich, dass <i>D</i>(<i>P<sub>X</sub></i>\|\|<i>P<sub>Y</sub></i>) = 0.0182 bit von keinem anderen <i>λ</i>–Wert als <i>λ</i> = 1 unterschritten wird (grüne Kreuze).
			*Weiter erkennt man aus dieser Darstellung, dass man mit <i>λ</i> = 0.9 eine bessere Entropie–Approximation als mit <i>λ</i> = 1 erreicht (blaue Kreise):
	:$$H(Y) = 1.795\,{\rm bit} \hspace{0.15cm}\approx \hspace{0.15cm} H(X) = 1.793\,{\rm bit}\hspace{0.05cm}.$$		:$$H(Y) = 1.795\,{\rm bit} \hspace{0.15cm}\approx \hspace{0.15cm} H(X) = 1.793\,{\rm bit}\hspace{0.05cm}.$$
	Der zweite Lösungsvorschlag ist also falsch. ~~Anzumerken ist:~~		:Der zweite Lösungsvorschlag ist also falsch.

	:* Mit <i>λ</i> = 1 stimmen die <u>linearen</u> Mittelwerte der beiden Zufallsgrößen überein: <i>m<sub>X</sub></i> = <i>m<sub>Y</sub></i> = 1.		Weiter ist anzumerken:
			* Mit <i>λ</i> = 1 stimmen die <u>linearen</u> Mittelwerte der beiden Zufallsgrößen überein: <i>m<sub>X</sub></i> = <i>m<sub>Y</sub></i> = 1.
			* Mit <i>λ</i> = 0.9 stimmen die <u>quadratischen</u> Mittelwerte überein: <i>m<sub>X</sub></i> + <i>σ<sub>X</sub></i><sup>2</sup> = <i>m<sub>Y</sub></i> + <i>σ<sub>Y</sub></i><sup>2</sup> = 1.8.

	:* Mit <i>λ</i> = 0.9 stimmen die <u>quadratischen</u> Mittelwerte überein: <i>m<sub>X</sub></i> + <i>σ<sub>X</sub></i><sup>2</sup> = <i>m<sub>Y</sub></i> + <i>σ<sub>Y</sub></i><sup>2</sup> = 1.8.

	Ob diese Aussage relevant ist, lasse ich dahingestellt. Denn: Aufgrund der stetigen Zunahme von <i>H</i>(<i>Y</i>) mit zunehmendem <i>λ</i> ist klar, dass für irgendeinen <i>λ</i>–Wert tatsächlich <i>H</i>(<i>Y</i>) = <i>H</i>(<i>X</i>) gelten muss.		Ob diese Aussage relevant ist, lasse ich dahingestellt. Denn: Aufgrund der stetigen Zunahme von <i>H</i>(<i>Y</i>) mit zunehmendem <i>λ</i> ist klar, dass für irgendeinen <i>λ</i>–Wert tatsächlich <i>H</i>(<i>Y</i>) = <i>H</i>(<i>X</i>) gelten muss.

Guenter am 31. Mai 2017 um 08:40 Uhr

2017-05-31T08:40:24Z

← Nächstältere Version		Version vom 31. Mai 2017, 10:40 Uhr
Zeile 68:		Zeile 68:
	$I \hspace{0.47cm} = \ $ { 5 3% }		$I \hspace{0.47cm} = \ $ { 5 3% }
	$p \hspace{0.47cm} = \ $ { 0.2 3% }		$p \hspace{0.47cm} = \ $ { 0.2 3% }
	$m_x \ = \ $ { 5 3% }		$m_x \ = \ $ { 1 3% }
	$\sigma^2_x \hspace{0.25cm} = \ $ { 5 3% }		$\sigma^2_x \hspace{0.25cm} = \ $ { 0.8 3% }

Guenter am 31. Mai 2017 um 08:38 Uhr

2017-05-31T08:38:26Z

← Nächstältere Version		Version vom 31. Mai 2017, 10:38 Uhr
Zeile 44:		Zeile 44:
	*Sollte die Eingabe des Zahlenwertes &bdquo;0” erforderlich sein, so geben Sie bitte &bdquo;0.” ein.		*Sollte die Eingabe des Zahlenwertes &bdquo;0” erforderlich sein, so geben Sie bitte &bdquo;0.” ein.
	*Um die numerischen Berechnungen in Grenzen zu halten, werden folgende Hilfsgrößen vorgegeben; &bdquo;lg” bezeichnet den Logarithmus zur Basis 10:		*Um die numerischen Berechnungen in Grenzen zu halten, werden folgende Hilfsgrößen vorgegeben; &bdquo;lg” bezeichnet den Logarithmus zur Basis 10:
	$$A' ~~\hspace{0.15cm}~~ = ~~\hspace{0.15cm}~~		:$$A' =
	0.4096 \cdot {\rm lg} \hspace{0.1cm} \frac{0.4096}{0.3679} +		0.4096 \cdot {\rm lg} \hspace{0.1cm} \frac{0.4096}{0.3679} +
	0.2048 \cdot {\rm lg} \hspace{0.1cm} \frac{0.2048}{0.1839} +		0.2048 \cdot {\rm lg} \hspace{0.1cm} \frac{0.2048}{0.1839} +
	0.0512 \cdot {\rm lg} \hspace{0.1cm} \frac{0.0512}{0.0613} +		0.0512 \cdot {\rm lg} \hspace{0.1cm} \frac{0.0512}{0.0613} +
	0.0064 \cdot {\rm lg} \hspace{0.1cm} \frac{0.0064}{0.0153} +		0.0064 \cdot {\rm lg} \hspace{0.1cm} \frac{0.0064}{0.0153} +
	0.0003 \cdot {\rm lg} \hspace{0.1cm} \frac{0.0003}{0.0031} =		0.0003 \cdot {\rm lg} \hspace{0.1cm} \frac{0.0003}{0.0031} \hspace{0.05cm},$$
	~~\hspace{0.15cm} \underline {= 0.021944}~~ \hspace{0.05cm},$$		:$$B' =
	$$B' ~~\hspace{0.15cm}~~ = ~~\hspace{0.15cm}~~
	0.1839 \cdot {\rm lg} \hspace{0.1cm} (0.1839) +		0.1839 \cdot {\rm lg} \hspace{0.1cm} (0.1839) +
	0.0613 \cdot {\rm lg} \hspace{0.1cm} (0.0613) +		0.0613 \cdot {\rm lg} \hspace{0.1cm} (0.0613) +
Zeile 57:		Zeile 56:
	0.0031 \cdot {\rm lg} \hspace{0.1cm} (0.0031) +		0.0031 \cdot {\rm lg} \hspace{0.1cm} (0.0031) +
	0.0005 \cdot {\rm lg} \hspace{0.1cm} (0.0005) +		0.0005 \cdot {\rm lg} \hspace{0.1cm} (0.0005) +
	0.0001 \cdot {\rm lg} \hspace{0.1cm} (0.0001)		0.0001 \cdot {\rm lg} \hspace{0.1cm} (0.0001)$$
	\hspace{0.15cm} \underline {= -0.24717} \hspace{0.05cm}.$$		:$$\Rightarrow \hspace{0.3cm} A' \hspace{0.15cm} \underline {= 0.021944} \hspace{0.05cm},\hspace{0.5cm}
			B' \hspace{0.15cm} \underline {= -0.24717} \hspace{0.05cm}.$$


Zeile 66:		Zeile 66:
	{Wie lauten die Kenngrößen der vorliegenden Binomialverteilung?<br> <i>Hinweis:</i> Geben Sie (maximal) eine Nachkommastelle ein.		{Wie lauten die Kenngrößen der vorliegenden Binomialverteilung?<br> <i>Hinweis:</i> Geben Sie (maximal) eine Nachkommastelle ein.
	\|type="{}"}		\|type="{}"}
	$I$ = { 5 3% }		$I \hspace{0.47cm} = \ $ { 5 3% }
	$p$ = { 0.2 3% }		$p \hspace{0.47cm} = \ $ { 0.2 3% }
	$m_x$ = { 5 3% }		$m_x \ = \ $ { 5 3% }
	$\sigma^2_x$ = { 5 3% }		$\sigma^2_x \hspace{0.25cm} = \ $ { 5 3% }


Zeile 80:		Zeile 80:


	{Berechnen Sie die geeignete Kullback–Leibler–Distanz (hier mit <i>D</i> ~~bezeichnet~~) für <i>λ</i> = 1. Berücksichtigen Sie die ~~angegebene~~ Hilfsgröße ~~<i>~~A~~</i>′~~.		{Berechnen Sie die geeignete Kullback–Leibler–Distanz (hier mit <i>D</i> abgekürzt) für <i>λ</i> = 1. Berücksichtigen Sie die Hilfsgröße $A'$.
	\|type="{}"}		\|type="{}"}
	$\~~lambda~~ = 1:\ D$ = { 0.0182 3% } $bit$		$D \ = \ $ { 0.0182 3% } $\ \rm bit$


	{Berechnen Sie die Entropie <i>H</i>(<i>Y</i>) der Poisson–Näherung mit der Rate <i>λ</i> = 1. Berücksichtigen Sie die ~~angegebene~~ Hilfsgröße <i>B</i>′.		{Berechnen Sie die Entropie <i>H</i>(<i>Y</i>) der Poisson–Näherung mit der Rate <i>λ</i> = 1.
			Berücksichtigen Sie die Hilfsgröße <i>B</i>′.
	\|type="{}"}		\|type="{}"}
	$\~~lambda~~ = 1:\ ~~H(Y)~~$ = { 1.864 3% } $bit$		$H(Y) \ = \ $ { 1.864 3% } $\ \rm bit$


	{Welche der folgenden Aussagen sind zutreffend?		{Welche der folgenden Aussagen sind zutreffend?
	\|type="[]"}		\|type="[]"}
	+ <i>H</i>(<i>Y</i>)–Berechnung~~: Alle~~ Terme ~~haben~~ gleiches Vorzeichen.		+ Bei der <i>H</i>(<i>Y</i>)–Berechnung haben alle Terme gleiches Vorzeichen.
	- <i>D</i>(<i>P<sub>X</sub></i>\|\|<i>P<sub>Y</sub></i>)–Berechnung~~: Alle~~ Terme ~~haben~~ gleiches Vorzeichen.		- Bei der <i>D</i>(<i>P<sub>X</sub></i>\|\|<i>P<sub>Y</sub></i>)–Berechnung haben alle Terme gleiches Vorzeichen.