Aufgabe 3.5: Kullback-Leibler-Distanz & Binominalverteilung - Versionsgeschichte

Maintenance script: Add English interlanguage link

2026-03-16T12:26:04Z

Add English interlanguage link

← Nächstältere Version		Version vom 16. März 2026, 14:26 Uhr
Zeile 160:		Zeile 160:

	[[Category:Aufgaben zu Informationstheorie\|^3.1 Allgemeines zu 2D-Zufallsgrößen^]]		[[Category:Aufgaben zu Informationstheorie\|^3.1 Allgemeines zu 2D-Zufallsgrößen^]]
			[[en:Exercise_3.5:_Kullback-Leibler_Distance_and_Binomial_Distribution]]

Maintenance script: Revert to dollar math (SimpleMathJax)

2026-02-27T15:16:23Z

Revert to dollar math (SimpleMathJax)

Änderungen zeigen

Maintenance script: Test: math tags for Math extension mathjax mode

2026-02-27T15:14:11Z

Test: math tags for Math extension mathjax mode

Änderungen zeigen

Maintenance script: Revert to dollar math (native MathML does not support hspace)

2026-02-27T15:12:38Z

Revert to dollar math (native MathML does not support hspace)

Änderungen zeigen

Maintenance script: Test: convert dollar math to $tags for native MathML$

2026-02-27T15:10:24Z

Test: convert dollar math to <math> tags for native MathML

Änderungen zeigen

Maintenance script: Fix remaining split formulas

2026-02-27T14:01:26Z

Fix remaining split formulas

← Nächstältere Version		Version vom 27. Februar 2026, 16:01 Uhr
Zeile 20:		Zeile 20:

	* Wertebereich:		* Wertebereich:
	:$$Y = \{\hspace{0.05cm}0\hspace{0.05cm}, \hspace{0.15cm} 1\hspace{0.05cm},\hspace{0.05cm}		:$$Y = \{\hspace{0.05cm}0\hspace{0.05cm}, \hspace{0.15cm} 1\hspace{0.05cm},\hspace{0.05cm} 2\hspace{0.05cm},\hspace{0.15cm} \text{...}\hspace{0.1cm} ,\hspace{0.15cm} {\mu}\hspace{0.05cm}, \hspace{0.05cm}\text{...}\hspace{0.1cm}\}\hspace{0.05cm},$$
	2\hspace{0.05cm},\hspace{0.15cm} \text{...}\hspace{0.1cm} ,\hspace{0.15cm} {\mu}\hspace{0.05cm}, \hspace{0.05cm}\text{...}\hspace{0.1cm}\}\hspace{0.05cm},$$
	* Wahrscheinlichkeiten:		* Wahrscheinlichkeiten:
	:$$P_Y (Y = \mu) = \frac{\lambda^{\mu}}{\mu !} \cdot {\rm e}^{-\lambda} \hspace{0.05cm},$$		:$$P_Y (Y = \mu) = \frac{\lambda^{\mu}}{\mu !} \cdot {\rm e}^{-\lambda} \hspace{0.05cm},$$
Zeile 48:		Zeile 47:
	*Insbesondere wird Bezug genommen auf die Seite  [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Relative_Entropie_.E2.80.93_Kullback.E2.80.93Leibler.E2.80.93Distanz\|Relative Entropie – Kullback-Leibler-Distanz]].		*Insbesondere wird Bezug genommen auf die Seite  [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Relative_Entropie_.E2.80.93_Kullback.E2.80.93Leibler.E2.80.93Distanz\|Relative Entropie – Kullback-Leibler-Distanz]].
	*Um die numerischen Berechnungen in Grenzen zu halten, werden folgende Hilfsgrößen vorgegeben;  hierbei bezeichnet  $\rm \lg$  den Logarithmus zur Basis  $10$:		*Um die numerischen Berechnungen in Grenzen zu halten, werden folgende Hilfsgrößen vorgegeben;  hierbei bezeichnet  $\rm \lg$  den Logarithmus zur Basis  $10$:
	:$$A\hspace{0.05cm}' =		:$$A\hspace{0.05cm}' = 0.4096 \cdot {\rm lg} \hspace{0.1cm} \frac{0.4096}{0.3679} + 0.2048 \cdot {\rm lg} \hspace{0.1cm} \frac{0.2048}{0.1839} + 0.0512 \cdot {\rm lg} \hspace{0.1cm} \frac{0.0512}{0.0613} + 0.0064 \cdot {\rm lg} \hspace{0.1cm} \frac{0.0064}{0.0153} + 0.0003 \cdot {\rm lg} \hspace{0.1cm} \frac{0.0003}{0.0031} \hspace{0.05cm},$$
	0.4096 \cdot {\rm lg} \hspace{0.1cm} \frac{0.4096}{0.3679} +		:$$B\hspace{0.05cm}' = 0.1839 \cdot {\rm lg} \hspace{0.1cm} (0.1839) + 0.0613 \cdot {\rm lg} \hspace{0.1cm} (0.0613) + 0.0153 \cdot {\rm lg} \hspace{0.1cm} (0.0153) + 0.0031 \cdot {\rm lg} \hspace{0.1cm} (0.0031) + 0.0005 \cdot {\rm lg} \hspace{0.1cm} (0.0005) + 0.0001 \cdot {\rm lg} \hspace{0.1cm} (0.0001)$$
	0.2048 \cdot {\rm lg} \hspace{0.1cm} \frac{0.2048}{0.1839} +		:$$\Rightarrow \hspace{0.3cm} A\hspace{0.05cm}' \hspace{0.15cm} \underline {= 0.021944} \hspace{0.05cm},\hspace{0.5cm} B\hspace{0.05cm}' \hspace{0.15cm} \underline {= -0.24717} \hspace{0.05cm}.$$
	0.0512 \cdot {\rm lg} \hspace{0.1cm} \frac{0.0512}{0.0613} +
	0.0064 \cdot {\rm lg} \hspace{0.1cm} \frac{0.0064}{0.0153} +
	0.0003 \cdot {\rm lg} \hspace{0.1cm} \frac{0.0003}{0.0031} \hspace{0.05cm},$$
	:$$B\hspace{0.05cm}' =
	0.1839 \cdot {\rm lg} \hspace{0.1cm} (0.1839) +
	0.0613 \cdot {\rm lg} \hspace{0.1cm} (0.0613) +
	0.0153 \cdot {\rm lg} \hspace{0.1cm} (0.0153) +
	0.0031 \cdot {\rm lg} \hspace{0.1cm} (0.0031) +
	0.0005 \cdot {\rm lg} \hspace{0.1cm} (0.0005) +
	0.0001 \cdot {\rm lg} \hspace{0.1cm} (0.0001)$$
	:$$\Rightarrow \hspace{0.3cm} A\hspace{0.05cm}' \hspace{0.15cm} \underline {= 0.021944} \hspace{0.05cm},\hspace{0.5cm}
	B\hspace{0.05cm}' \hspace{0.15cm} \underline {= -0.24717} \hspace{0.05cm}.$$


Zeile 133:		Zeile 120:
	:$$D = D(P_X \hspace{0.05cm}\|\| \hspace{0.05cm} P_Y) =\hspace{0.2cm} \sum_{\mu = 0}^{5} P_X(\mu) \cdot {\rm log}_2 \hspace{0.1cm} \frac{P_X(\mu)}{P_Y(\mu)} \hspace{0.05cm}.$$		:$$D = D(P_X \hspace{0.05cm}\|\| \hspace{0.05cm} P_Y) =\hspace{0.2cm} \sum_{\mu = 0}^{5} P_X(\mu) \cdot {\rm log}_2 \hspace{0.1cm} \frac{P_X(\mu)}{P_Y(\mu)} \hspace{0.05cm}.$$
	*Bei Verwendung des Zehnerlogarithmus  $(\lg)$  erhalten wir für die Poisson–Näherung mit  $\lambda = 1$:		*Bei Verwendung des Zehnerlogarithmus  $(\lg)$  erhalten wir für die Poisson–Näherung mit  $\lambda = 1$:
	:$$D \hspace{0.05cm}' = 0.3277 \cdot {\rm lg} \hspace{0.1cm} \frac{0.3277}{0.3679} + A \hspace{0.05cm}' =		:$$D \hspace{0.05cm}' = 0.3277 \cdot {\rm lg} \hspace{0.1cm} \frac{0.3277}{0.3679} + A \hspace{0.05cm}' = -0.016468 + 0.021944 = 0.005476 \hspace{0.05cm}.$$
	-0.016468 + 0.021944 = 0.005476 \hspace{0.05cm}.$$
	*Nach Umrechnung auf den Zweierlogarithmus  $(\log_2)$  erhält man schließlich:		*Nach Umrechnung auf den Zweierlogarithmus  $(\log_2)$  erhält man schließlich:
	:$$D = D(P_X \hspace{0.05cm}\|\| \hspace{0.05cm} P_Y) = \frac{0.005476}{{\rm lg} \hspace{0.1cm}(2)} \hspace{0.15cm} \underline {\approx 0.0182\ {\rm (bit)}}\hspace{0.05cm}.$$		:$$D = D(P_X \hspace{0.05cm}\|\| \hspace{0.05cm} P_Y) = \frac{0.005476}{{\rm lg} \hspace{0.1cm}(2)} \hspace{0.15cm} \underline {\approx 0.0182\ {\rm (bit)}}\hspace{0.05cm}.$$
Zeile 140:		Zeile 126:

	'''(4)'''  Unter Verwendung des Zehnerlogarithmus lautet die Entropie der Poisson–Näherung  $(\lambda = 1)$:		'''(4)'''  Unter Verwendung des Zehnerlogarithmus lautet die Entropie der Poisson–Näherung  $(\lambda = 1)$:
	:$$H\hspace{0.05cm}'(Y) = -{\rm E} \left [{\rm lg} \hspace{0.1cm} {P_Y(Y)} \right ]		:$$H\hspace{0.05cm}'(Y) = -{\rm E} \left [{\rm lg} \hspace{0.1cm} {P_Y(Y)} \right ] = -2 \cdot 0.3679 \cdot {\rm lg} \hspace{0.1cm} (0.3679) - B\hspace{0.05cm}' = 0.31954 + 0.24717 = 0.56126.$$
	= -2 \cdot 0.3679 \cdot {\rm lg} \hspace{0.1cm} (0.3679) - B\hspace{0.05cm}' = 0.31954 + 0.24717 = 0.56126.$$
	*Die Umrechnung in &bdquo;bit” liefert das gesuchte Ergebnis:		*Die Umrechnung in &bdquo;bit” liefert das gesuchte Ergebnis:
	:$$H(Y) = \frac{0.56126}{{\rm lg} \hspace{0.1cm}(2)}		:$$H(Y) = \frac{0.56126}{{\rm lg} \hspace{0.1cm}(2)} \hspace{0.15cm} \underline {= 1.864\ {\rm (bit)}} \hspace{0.05cm}.$$
	\hspace{0.15cm} \underline {= 1.864\ {\rm (bit)}} \hspace{0.05cm}.$$

Maintenance script: Fix broken formula (newline in $$...$$)

2026-02-27T13:57:19Z

Fix broken formula (newline in $$...$$)

← Nächstältere Version		Version vom 27. Februar 2026, 15:57 Uhr
Zeile 7:		Zeile 7:

	* Wertebereich:		* Wertebereich:
	:$$X = \{\hspace{0.05cm}0\hspace{0.05cm}, \hspace{0.15cm} 1\hspace{0.05cm},\hspace{0.15cm}		:$$X = \{\hspace{0.05cm}0\hspace{0.05cm}, \hspace{0.15cm} 1\hspace{0.05cm},\hspace{0.15cm} 2\hspace{0.05cm},\hspace{0.15cm} \text{...}\hspace{0.1cm} ,\hspace{0.15cm} {\mu}\hspace{0.05cm}, \hspace{0.05cm}\text{...}\hspace{0.1cm} , \hspace{0.15cm} I\hspace{0.05cm}\}\hspace{0.05cm},$$
	2\hspace{0.05cm},\hspace{0.15cm} \text{...}\hspace{0.1cm} ,\hspace{0.15cm} {\mu}\hspace{0.05cm}, \hspace{0.05cm}\text{...}\hspace{0.1cm} , \hspace{0.15cm} I\hspace{0.05cm}\}\hspace{0.05cm},$$
	* Wahrscheinlichkeiten:		* Wahrscheinlichkeiten:
	:$$P_X (X = \mu) = {I \choose \mu} \cdot p^{\mu} \cdot (1-p)^{I-\mu} \hspace{0.05cm},$$		:$$P_X (X = \mu) = {I \choose \mu} \cdot p^{\mu} \cdot (1-p)^{I-\mu} \hspace{0.05cm},$$

Guenter am 31. August 2021 um 12:34 Uhr

2021-08-31T12:34:47Z

← Nächstältere Version		Version vom 31. August 2021, 14:34 Uhr
Zeile 24:		Zeile 24:
	2\hspace{0.05cm},\hspace{0.15cm} \text{...}\hspace{0.1cm} ,\hspace{0.15cm} {\mu}\hspace{0.05cm}, \hspace{0.05cm}\text{...}\hspace{0.1cm}\}\hspace{0.05cm},$$		2\hspace{0.05cm},\hspace{0.15cm} \text{...}\hspace{0.1cm} ,\hspace{0.15cm} {\mu}\hspace{0.05cm}, \hspace{0.05cm}\text{...}\hspace{0.1cm}\}\hspace{0.05cm},$$
	* Wahrscheinlichkeiten:		* Wahrscheinlichkeiten:
	:$$P_Y (Y = \mu) = \frac{\lambda^{\mu}}{\mu !} \cdot {\rm e}^{\lambda} \hspace{0.05cm},$$		:$$P_Y (Y = \mu) = \frac{\lambda^{\mu}}{\mu !} \cdot {\rm e}^{-\lambda} \hspace{0.05cm},$$
	* Erwartungswerte:		* Erwartungswerte:
	:$$m_Y = \sigma_Y^2 = \lambda\hspace{0.05cm}.$$		:$$m_Y = \sigma_Y^2 = \lambda\hspace{0.05cm}.$$

	Um abschätzen zu können, ob die Wahrscheinlichkeitsfunktion  $P_X(X)$  ausreichend gut durch  $P_Y(Y)$  approximiert wird, kann man auf die so genannten  <b>Kullback–Leibler–Distanzen</b>  (~~'''~~KLD~~'''~~)  zurückgreifen, in der Literatur teilweise auch  &bdquo;relative Entropien”  genannt.		Um abschätzen zu können, ob die Wahrscheinlichkeitsfunktion  $P_X(X)$  ausreichend gut durch  $P_Y(Y)$  approximiert wird, kann man auf die so genannten  <b>Kullback–Leibler–Distanzen</b>  $\rm (KLD)$  zurückgreifen, in der Literatur teilweise auch  &bdquo;relative Entropien”  genannt.

	Angepasst an das vorliegende Beispiel lauten diese:		Angepasst an das vorliegende Beispiel lauten diese:
Zeile 169:		Zeile 169:
	:$$m_X + \sigma_X^2 = m_Y + \sigma_Y^2= 1.8.$$		:$$m_X + \sigma_X^2 = m_Y + \sigma_Y^2= 1.8.$$

	Ob diese Aussage relevant ist, lassen wir dahingestellt.  Denn:   Aufgrund der stetigen Zunahme von  $H(Y)$  mit zunehmendem  $λ$  ist klar, dass für irgendeinen  $λ$–Wert tatsächlich  $H(Y) = H(X)$  gelten muss.		Ob diese Aussage relevant ist, lassen wir dahingestellt.

			Denn:   Aufgrund der stetigen Zunahme von  $H(Y)$  mit zunehmendem  $λ$  ist klar, dass für irgendeinen  $λ$–Wert tatsächlich  $H(Y) = H(X)$  gelten muss.
	{{ML-Fuß}}		{{ML-Fuß}}

Guenter am 31. August 2021 um 10:27 Uhr

2021-08-31T10:27:39Z

Guenter am 30. Januar 2020 um 15:54 Uhr

2020-01-30T15:54:14Z

← Nächstältere Version		Version vom 30. Januar 2020, 17:54 Uhr
Zeile 113:		Zeile 113:
	===Musterlösung===		===Musterlösung===
	{{ML-Kopf}}		{{ML-Kopf}}
	'''(1)'''  Bei der Binomialverteilung sind alle Wahrscheinlichkeiten ${\rm Pr}(X > I) = 0$   ⇒   $\underline{I = 5}$. ~~<br>~~Damit ergibt sich für die Wahrscheinlichkeit, dass $X =I = 5$ ist:		'''(1)'''  Bei der Binomialverteilung sind alle Wahrscheinlichkeiten  ${\rm Pr}(X > I) = 0$   ⇒   $\underline{I = 5}$.  Damit ergibt sich für die Wahrscheinlichkeit, dass  $X =I = 5$  ist:
	:$${\rm Pr} (X = 5) = {5 \choose 5} \cdot p^{5} = p^{5} \approx 0.0003 \hspace{0.05cm}.$$		:$${\rm Pr} (X = 5) = {5 \choose 5} \cdot p^{5} = p^{5} \approx 0.0003 \hspace{0.05cm}.$$
	Somit erhält man für		Somit erhält man für
Zeile 120:		Zeile 120:
	* den linearen Mittelwert (Erwartungswert):   $m_X = I \cdot p \hspace{0.15cm} \underline {= 1}\hspace{0.05cm},$		* den linearen Mittelwert (Erwartungswert):   $m_X = I \cdot p \hspace{0.15cm} \underline {= 1}\hspace{0.05cm},$
	* die Varianz:   $\sigma_X^2 = I \cdot p \cdot (1-p) \hspace{0.15cm} \underline {= 0.8}\hspace{0.05cm}.$		* die Varianz:   $\sigma_X^2 = I \cdot p \cdot (1-p) \hspace{0.15cm} \underline {= 0.8}\hspace{0.05cm}.$




	'''(2)'''  Richtig ist der <u>Lösungsvorschlag 2</u>:		'''(2)'''  Richtig ist der <u>Lösungsvorschlag 2</u>:
	*Bei Verwendung von $D(P_Y \hspace{0.05cm}\|\| \hspace{0.05cm} P_X)$ würde sich unabhängig von $λ$ stets ein unendlicher Wert ergeben, da für $\mu ≥ 6$ gilt:		*Bei Verwendung von  $D(P_Y \hspace{0.05cm}\|\| \hspace{0.05cm} P_X)$  würde sich unabhängig von  $λ$  stets ein unendlicher Wert ergeben, da für  $\mu ≥ 6$  gilt:
	:$$P_X (X = \mu) = 0 \hspace{0.05cm},\hspace{0.3cm}P_Y (Y = \mu) \ne 0 \hspace{0.05cm}.$$		:$$P_X (X = \mu) = 0 \hspace{0.05cm},\hspace{0.3cm}P_Y (Y = \mu) \ne 0 \hspace{0.05cm}.$$
	*Auch wenn die Wahrscheinlichkeiten $P_Y (Y = \mu)$ für große $μ$ sehr klein werden, sind sie doch &bdquo;unendlich viel größer” als $P_X (X = \mu)$.		*Auch wenn die Wahrscheinlichkeiten  $P_Y (Y = \mu)$  für große  $μ$  sehr klein werden, sind sie doch &bdquo;unendlich viel größer” als  $P_X (X = \mu)$.




	'''(3)'''  Wir verwenden die erste Kullback–Leibler–Distanz:		'''(3)'''  Wir verwenden die erste Kullback–Leibler–Distanz:
	:$$D = D(P_X \hspace{0.05cm}\|\| \hspace{0.05cm} P_Y) =\hspace{0.2cm} \sum_{\mu = 0}^{5} P_X(\mu) \cdot {\rm log}_2 \hspace{0.1cm} \frac{P_X(\mu)}{P_Y(\mu)} \hspace{0.05cm}.$$		:$$D = D(P_X \hspace{0.05cm}\|\| \hspace{0.05cm} P_Y) =\hspace{0.2cm} \sum_{\mu = 0}^{5} P_X(\mu) \cdot {\rm log}_2 \hspace{0.1cm} \frac{P_X(\mu)}{P_Y(\mu)} \hspace{0.05cm}.$$
	Bei Verwendung des Zehnerlogarithmus $(\lg)$ erhalten wir für die Poisson–Näherung mit  $\lambda = 1$:		*Bei Verwendung des Zehnerlogarithmus  $(\lg)$  erhalten wir für die Poisson–Näherung mit  $\lambda = 1$:
	:$$D \hspace{0.05cm}' = 0.3277 \cdot {\rm lg} \hspace{0.1cm} \frac{0.3277}{0.3679} + A \hspace{0.05cm}' =		:$$D \hspace{0.05cm}' = 0.3277 \cdot {\rm lg} \hspace{0.1cm} \frac{0.3277}{0.3679} + A \hspace{0.05cm}' =
	-0.016468 + 0.021944 = 0.005476 \hspace{0.05cm}.$$		-0.016468 + 0.021944 = 0.005476 \hspace{0.05cm}.$$
	Nach Umrechnung auf den Zweierlogarithmus $(\log_2)$ erhält man schließlich:		*Nach Umrechnung auf den Zweierlogarithmus  $(\log_2)$  erhält man schließlich:
	:$$D = D(P_X \hspace{0.05cm}\|\| \hspace{0.05cm} P_Y) = \frac{0.005476}{{\rm lg} \hspace{0.1cm}(2)} \hspace{0.15cm} \underline {\approx 0.0182\,{\rm (bit)}}\hspace{0.05cm}.$$		:$$D = D(P_X \hspace{0.05cm}\|\| \hspace{0.05cm} P_Y) = \frac{0.005476}{{\rm lg} \hspace{0.1cm}(2)} \hspace{0.15cm} \underline {\approx 0.0182\ {\rm (bit)}}\hspace{0.05cm}.$$


	'''(4)'''  Unter Verwendung des Zehnerlogarithmus lautet die Entropie der Poisson–Näherung $(\lambda = 1)$:		'''(4)'''  Unter Verwendung des Zehnerlogarithmus lautet die Entropie der Poisson–Näherung  $(\lambda = 1)$:
	:$$H\hspace{0.05cm}'(Y) = -{\rm E} \left [{\rm lg} \hspace{0.1cm} {P_Y(Y)} \right ]		:$$H\hspace{0.05cm}'(Y) = -{\rm E} \left [{\rm lg} \hspace{0.1cm} {P_Y(Y)} \right ]
	= -2 \cdot 0.3679 \cdot {\rm lg} \hspace{0.1cm} (0.3679) - B\hspace{0.05cm}' = 0.31954 + 0.24717 = 0.56126.$$		= -2 \cdot 0.3679 \cdot {\rm lg} \hspace{0.1cm} (0.3679) - B\hspace{0.05cm}' = 0.31954 + 0.24717 = 0.56126.$$
	Die Umrechnung in &bdquo;bit” liefert das gesuchte Ergebnis:		*Die Umrechnung in &bdquo;bit” liefert das gesuchte Ergebnis:
	:$$H(Y) = \frac{0.56126}{{\rm lg} \hspace{0.1cm}(2)}		:$$H(Y) = \frac{0.56126}{{\rm lg} \hspace{0.1cm}(2)}
	\hspace{0.15cm} \underline {= 1.864\,{\rm (bit)}} \hspace{0.05cm}.$$		\hspace{0.15cm} \underline {= 1.864\ {\rm (bit)}} \hspace{0.05cm}.$$


	'''(5)'''  Richtig ist die <u>Aussage 1</u>. Bei der numerischen Berechnung der Kullback–Leibler–Distanz ist
	* der Beitrag des $μ$–ten Terms positiv, falls $P_Y(\mu) > P_X(\mu)$,		'''(5)'''  Richtig ist die <u>Aussage 1</u>.  Bei der numerischen Berechnung der Kullback–Leibler–Distanz ist
	* der Beitrag des $μ$–ten Terms negativ, falls $P_Y(\mu) < P_X(\mu)$.		* der Beitrag des  $μ$–ten Terms positiv, falls  $P_Y(\mu) > P_X(\mu)$,
			* der Beitrag des  $μ$–ten Terms negativ, falls  $P_Y(\mu) < P_X(\mu)$.


	[[Datei:P_ID2761__Inf_A_3_4_C.png\|right\|frame\|Kullback–Leibler–Distanz und Entropie]]		[[Datei:P_ID2761__Inf_A_3_4_C.png\|right\|frame\|Kullback–Leibler–Distanz und Entropie]]



	'''(6)'''  Zutreffend ist der <u>Lösungsvorschlag 1</u>:		'''(6)'''  Zutreffend ist der <u>Lösungsvorschlag 1</u>:
	*Auch aus der Grafik ist ersichtlich, dass $D(P_X \hspace{0.05cm}\|\| \hspace{0.05cm} P_Y) =0.0182$ bit von keinem anderen  $λ$–Wert als  $λ = 1$ unterschritten wird (grüne Kreuze).		*Auch aus der Grafik ist ersichtlich, dass  $D(P_X \hspace{0.05cm}\|\| \hspace{0.05cm} P_Y) =0.0182$  bit  von keinem anderen  $λ$–Wert als  $λ = 1$  unterschritten wird (grüne Kreuze).
	*Weiter erkennt man aus dieser Darstellung, dass man mit  $λ = 0.9$ eine bessere Entropie–Approximation als mit  $λ = 1$ erreicht (blaue Kreise):		*Weiter erkennt man aus dieser Darstellung, dass man mit  $λ = 0.9$  eine bessere Entropie–Approximation als mit  $λ = 1$  erreicht (blaue Kreise):
	:$$H(Y) = 1.795\,{\rm bit} \hspace{0.15cm}\approx \hspace{0.15cm} H(X) = 1.793\,{\rm bit}\hspace{0.05cm}.$$		:$$H(Y) = 1.795\ {\rm bit} \hspace{0.15cm}\approx \hspace{0.15cm} H(X) = 1.793\ {\rm bit}\hspace{0.05cm}.$$
	:Der zweite Lösungsvorschlag ist also falsch.		:Der zweite Lösungsvorschlag ist also falsch.

	* Mit  $λ = 1$ stimmen die <u>linearen</u> ~~Mittelwerte~~ der beiden Zufallsgrößen überein:		* Mit  $λ = 1$  stimmen die  <u>linearen Mittelwerte</u>  der beiden Zufallsgrößen überein:
	:$$m_X = m_Y= 1.$$		:$$m_X = m_Y= 1.$$
	* Mit  $λ = 0.9$ stimmen die <u>quadratischen</u> ~~Mittelwerte~~ überein:		* Mit  $λ = 0.9$ stimmen die  <u>quadratischen Mittelwerte</u>  überein:
	:$$m_X + \sigma_X^2 = m_Y + \sigma_Y^2= 1.8.$$		:$$m_X + \sigma_X^2 = m_Y + \sigma_Y^2= 1.8.$$

	Ob diese Aussage relevant ist, ~~lasse ich~~ dahingestellt. Denn:		Ob diese Aussage relevant ist, lassen wir dahingestellt.  Denn:   Aufgrund der stetigen Zunahme von  $H(Y)$  mit zunehmendem  $λ$  ist klar, dass für irgendeinen  $λ$–Wert tatsächlich  $H(Y) = H(X)$  gelten muss.

	Aufgrund der stetigen Zunahme von $H(Y)$ mit zunehmendem $λ$ ist klar, dass für irgendeinen $λ$–Wert tatsächlich $H(Y) = H(X)$ gelten muss.
	{{ML-Fuß}}		{{ML-Fuß}}

← Nächstältere Version		Version vom 31. August 2021, 12:27 Uhr
Zeile 28:		Zeile 28:
	:$$m_Y = \sigma_Y^2 = \lambda\hspace{0.05cm}.$$		:$$m_Y = \sigma_Y^2 = \lambda\hspace{0.05cm}.$$

	Um abschätzen zu können, ob die Wahrscheinlichkeitsfunktion  $P_X(X)$  ausreichend gut durch  $P_Y(Y)$  approximiert wird, kann man auf die so genannten  <i>Kullback–Leibler–Distanzen</i>  ('''KLD''')  zurückgreifen, in der Literatur teilweise auch  &bdquo;relative Entropien”  genannt.		Um abschätzen zu können, ob die Wahrscheinlichkeitsfunktion  $P_X(X)$  ausreichend gut durch  $P_Y(Y)$  approximiert wird, kann man auf die so genannten  <b>Kullback–Leibler–Distanzen</b>  ('''KLD''')  zurückgreifen, in der Literatur teilweise auch  &bdquo;relative Entropien”  genannt.

	Angepasst an das vorliegende Beispiel lauten diese:		Angepasst an das vorliegende Beispiel lauten diese:
Zeile 36:		Zeile 36:
	Bei Verwendung von  $\log_2$  ist dem Zahlenwert die Pseudo–Einheit &bdquo;bit” hinzuzufügen.		Bei Verwendung von  $\log_2$  ist dem Zahlenwert die Pseudo–Einheit &bdquo;bit” hinzuzufügen.

	In nebenstehender Tabelle ist die Kullback–Leibler–Distanz  $D(P_X \hspace{0.05cm}\|\| \hspace{0.05cm} P_Y)$  (in &bdquo;bit”) zwischen der Binomial–PMF  $P_X(\cdot)$  und einigen Poisson–Näherungen  $P_Y(\cdot)$  $($mit fünf verschiedenen Raten $\lambda)$  eingetragen.		In nebenstehender Tabelle ist die Kullback–Leibler–Distanz  $D(P_X \hspace{0.05cm}\|\| \hspace{0.05cm} P_Y)$  (in &bdquo;bit”)  zwischen der Binomial–PMF  $P_X(\cdot)$  und einigen Poisson–Näherungen  $P_Y(\cdot)$  $($mit fünf verschiedenen Raten $\lambda)$  eingetragen.
	*Die jeweilige Entropie  $H(Y)$, die ebenfalls von der Rate  $\lambda$  abhängt, ist in der ersten Zeile angegeben.		*Die jeweilige Entropie  $H(Y)$, die ebenfalls von der Rate  $\lambda$  abhängt, ist in der ersten Zeile angegeben.

Zeile 45:		Zeile 45:


	''Hinweise:''		Hinweise:
	*Die Aufgabe gehört zum Kapitel  [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen\|Einige Vorbemerkungen zu ~~den 2D-~~Zufallsgrößen]].		*Die Aufgabe gehört zum Kapitel  [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen\|Einige Vorbemerkungen zu zweidimensionalen Zufallsgrößen]].
	*Insbesondere wird Bezug genommen auf die Seite  [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Relative_Entropie_.E2.80.93_Kullback.E2.80.93Leibler.E2.80.93Distanz\|Relative Entropie – Kullback-Leibler-Distanz]].		*Insbesondere wird Bezug genommen auf die Seite  [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Relative_Entropie_.E2.80.93_Kullback.E2.80.93Leibler.E2.80.93Distanz\|Relative Entropie – Kullback-Leibler-Distanz]].

	*Um die numerischen Berechnungen in Grenzen zu halten, werden folgende Hilfsgrößen vorgegeben;  hierbei bezeichnet  $\rm \lg$  den Logarithmus zur Basis  $10$:		*Um die numerischen Berechnungen in Grenzen zu halten, werden folgende Hilfsgrößen vorgegeben;  hierbei bezeichnet  $\rm \lg$  den Logarithmus zur Basis  $10$:
	:$$A' =		:$$A\hspace{0.05cm}' =
	0.4096 \cdot {\rm lg} \hspace{0.1cm} \frac{0.4096}{0.3679} +		0.4096 \cdot {\rm lg} \hspace{0.1cm} \frac{0.4096}{0.3679} +
	0.2048 \cdot {\rm lg} \hspace{0.1cm} \frac{0.2048}{0.1839} +		0.2048 \cdot {\rm lg} \hspace{0.1cm} \frac{0.2048}{0.1839} +
Zeile 56:		Zeile 55:
	0.0064 \cdot {\rm lg} \hspace{0.1cm} \frac{0.0064}{0.0153} +		0.0064 \cdot {\rm lg} \hspace{0.1cm} \frac{0.0064}{0.0153} +
	0.0003 \cdot {\rm lg} \hspace{0.1cm} \frac{0.0003}{0.0031} \hspace{0.05cm},$$		0.0003 \cdot {\rm lg} \hspace{0.1cm} \frac{0.0003}{0.0031} \hspace{0.05cm},$$
	:$$B' =		:$$B\hspace{0.05cm}' =
	0.1839 \cdot {\rm lg} \hspace{0.1cm} (0.1839) +		0.1839 \cdot {\rm lg} \hspace{0.1cm} (0.1839) +
	0.0613 \cdot {\rm lg} \hspace{0.1cm} (0.0613) +		0.0613 \cdot {\rm lg} \hspace{0.1cm} (0.0613) +
Zeile 63:		Zeile 62:
	0.0005 \cdot {\rm lg} \hspace{0.1cm} (0.0005) +		0.0005 \cdot {\rm lg} \hspace{0.1cm} (0.0005) +
	0.0001 \cdot {\rm lg} \hspace{0.1cm} (0.0001)$$		0.0001 \cdot {\rm lg} \hspace{0.1cm} (0.0001)$$
	:$$\Rightarrow \hspace{0.3cm} A' \hspace{0.15cm} \underline {= 0.021944} \hspace{0.05cm},\hspace{0.5cm}		:$$\Rightarrow \hspace{0.3cm} A\hspace{0.05cm}' \hspace{0.15cm} \underline {= 0.021944} \hspace{0.05cm},\hspace{0.5cm}
	B' \hspace{0.15cm} \underline {= -0.24717} \hspace{0.05cm}.$$		B\hspace{0.05cm}' \hspace{0.15cm} \underline {= -0.24717} \hspace{0.05cm}.$$


Zeile 70:		Zeile 69:

	<quiz display=simple>		<quiz display=simple>
	{Wie lauten die Kenngrößen der vorliegenden Binomialverteilung?  ~~<i>~~Hinweis:~~</i>~~ Geben Sie (maximal) eine Nachkommastelle ein.		{Wie lauten die Kenngrößen der vorliegenden Binomialverteilung?  Hinweis:  Geben Sie (maximal) eine Nachkommastelle ein.
	\|type="{}"}		\|type="{}"}
	$I \hspace{0.47cm} = \ $ { 5 3% }		$I \hspace{0.47cm} = \ $ { 5 3% }

Aufgabe 3.5: Kullback-Leibler-Distanz & Binominalverteilung - Versionsgeschichte

Maintenance script: Add English interlanguage link

Maintenance script: Revert to dollar math (SimpleMathJax)

Maintenance script: Test: math tags for Math extension mathjax mode

Maintenance script: Revert to dollar math (native MathML does not support hspace)

Maintenance script: Test: convert dollar math to tags for native MathML

Maintenance script: Fix remaining split formulas

Maintenance script: Fix broken formula (newline in $$...$$)

Guenter am 31. August 2021 um 12:34 Uhr

Guenter am 31. August 2021 um 10:27 Uhr

Guenter am 30. Januar 2020 um 15:54 Uhr

Maintenance script: Test: convert dollar math to $tags for native MathML$