Aufgabe 3.5: Kullback-Leibler-Distanz & Binominalverteilung/LaTeXML-Test

Wir gehen hier von der Binomialverteilung aus, die durch die Parameter $I$ und $p$ gekennzeichnet ist
⇒ siehe Buch „Stochastische Signaltheorie”:

Wertebereich:

[math]\displaystyle{ <mrow> <mrow> <mi>X</mi> <mo>=</mo> <mrow> <mo rspace="0.140em" stretchy="false">{</mo> <mn>0</mn> <mo lspace="0.140em" rspace="0.597em">,</mo> <mn>1</mn> <mo lspace="0.140em" rspace="0.597em">,</mo> <mn>2</mn> <mo lspace="0.140em" rspace="0.597em">,</mo> <mtext>…</mtext> <mo lspace="0.280em" rspace="0.597em">,</mo> <mi>μ</mi> <mo lspace="0.140em" rspace="0.307em">,</mo> <mtext>…</mtext> <mo lspace="0.280em" rspace="0.597em">,</mo> <mi>I</mi> <mo lspace="0.140em" rspace="0.140em" stretchy="false">}</mo> </mrow> </mrow> <mo>,</mo> </mrow> }[/math]

Wahrscheinlichkeiten:

[math]\displaystyle{ <mrow> <mrow> <mrow> <msub> <mi>P</mi> <mi>X</mi> </msub> <mo>⁢</mo> <mrow> <mo stretchy="false">(</mo> <mrow> <mi>X</mi> <mo>=</mo> <mi>μ</mi> </mrow> <mo stretchy="false">)</mo> </mrow> </mrow> <mo>=</mo> <mrow> <mrow> <mo>(</mo> <mfrac linethickness="0pt"> <mi>I</mi> <mi>μ</mi> </mfrac> <mo rspace="0.055em">)</mo> </mrow> <mo rspace="0.222em">⋅</mo> <msup> <mi>p</mi> <mi>μ</mi> </msup> <mo lspace="0.222em" rspace="0.222em">⋅</mo> <msup> <mrow> <mo stretchy="false">(</mo> <mrow> <mn>1</mn> <mo>−</mo> <mi>p</mi> </mrow> <mo stretchy="false">)</mo> </mrow> <mrow> <mi>I</mi> <mo>−</mo> <mi>μ</mi> </mrow> </msup> </mrow> </mrow> <mo>,</mo> </mrow> }[/math]

linearer Mittelwert:

[math]\displaystyle{ <mrow> <mrow> <msub> <mi>m</mi> <mi>X</mi> </msub> <mo>=</mo> <mrow> <mi>I</mi> <mo lspace="0.222em" rspace="0.222em">⋅</mo> <mi>p</mi> </mrow> </mrow> <mo lspace="0.140em">,</mo> </mrow> }[/math]

Varianz:

[math]\displaystyle{ <mrow> <mrow> <msubsup> <mi>σ</mi> <mi>X</mi> <mn>2</mn> </msubsup> <mo>=</mo> <mrow> <mi>I</mi> <mo lspace="0.222em" rspace="0.222em">⋅</mo> <mi>p</mi> <mo lspace="0.222em" rspace="0.222em">⋅</mo> <mrow> <mo stretchy="false">(</mo> <mrow> <mn>1</mn> <mo>−</mo> <mi>p</mi> </mrow> <mo stretchy="false">)</mo> </mrow> </mrow> </mrow> <mo lspace="0.140em">.</mo> </mrow> }[/math]

Im rot hinterlegten Teil der Tabelle sind die Wahrscheinlichkeiten $P_X(X = \mu$) der betrachteten Binomialverteilung angegeben. In der Teilaufgabe (1) sollen Sie die dazugehörigen Verteilungsparameter $I$ und $p$ bestimmen.

Diese vorgegebene Binomialverteilung soll hier durch eine Poissonverteilung $Y$ approximiert werden, gekennzeichnet durch die Rate $\lambda$:

Wertebereich:

[math]\displaystyle{ <mrow> <mrow> <mi>Y</mi> <mo>=</mo> <mrow> <mo rspace="0.140em" stretchy="false">{</mo> <mn>0</mn> <mo lspace="0.140em" rspace="0.597em">,</mo> <mn>1</mn> <mo lspace="0.140em" rspace="0.307em">,</mo> <mn>2</mn> <mo lspace="0.140em" rspace="0.597em">,</mo> <mtext>…</mtext> <mo lspace="0.280em" rspace="0.597em">,</mo> <mi>μ</mi> <mo lspace="0.140em" rspace="0.307em">,</mo> <mtext>…</mtext> <mo lspace="0.280em" rspace="0.140em" stretchy="false">}</mo> </mrow> </mrow> <mo>,</mo> </mrow> }[/math]

Wahrscheinlichkeiten:

[math]\displaystyle{ <mrow> <mrow> <mrow> <msub> <mi>P</mi> <mi>Y</mi> </msub> <mo>⁢</mo> <mrow> <mo stretchy="false">(</mo> <mrow> <mi>Y</mi> <mo>=</mo> <mi>μ</mi> </mrow> <mo stretchy="false">)</mo> </mrow> </mrow> <mo>=</mo> <mrow> <mfrac> <msup> <mi>λ</mi> <mi>μ</mi> </msup> <mrow> <mi>μ</mi> <mo>!</mo> </mrow> </mfrac> <mo lspace="0.222em" rspace="0.222em">⋅</mo> <msup> <mi mathvariant="normal">e</mi> <mrow> <mo>−</mo> <mi>λ</mi> </mrow> </msup> </mrow> </mrow> <mo>,</mo> </mrow> }[/math]

Erwartungswerte:

[math]\displaystyle{ <mrow> <mrow> <msub> <mi>m</mi> <mi>Y</mi> </msub> <mo>=</mo> <msubsup> <mi>σ</mi> <mi>Y</mi> <mn>2</mn> </msubsup> <mo>=</mo> <mi>λ</mi> </mrow> <mo lspace="0.140em">.</mo> </mrow> }[/math]

Um abschätzen zu können, ob die Wahrscheinlichkeitsfunktion $P_X(X)$ ausreichend gut durch $P_Y(Y)$ approximiert wird, kann man auf die so genannten Kullback–Leibler–Distanzen $\rm (KLD)$ zurückgreifen, in der Literatur teilweise auch „relative Entropien” genannt.

Angepasst an das vorliegende Beispiel lauten diese:

[math]\displaystyle{ <mrow> <mi>D</mi> <mrow> <mo stretchy="false">(</mo> <msub> <mi>P</mi> <mi>X</mi> </msub> <mo fence="false" rspace="0.167em" stretchy="false">|</mo> <mo fence="false" rspace="0.307em" stretchy="false">|</mo> <msub> <mi>P</mi> <mi>Y</mi> </msub> <mo rspace="0.430em" stretchy="false">)</mo> </mrow> <mo rspace="0.708em">=</mo> <mi mathvariant="normal">E</mi> <mrow> <mo>[</mo> <msub> <mi>log</mi> <mn>2</mn> </msub> <mfrac> <mrow> <msub> <mi>P</mi> <mi>X</mi> </msub> <mo>⁢</mo> <mrow> <mo stretchy="false">(</mo> <mi>X</mi> <mo stretchy="false">)</mo> </mrow> </mrow> <mrow> <msub> <mi>P</mi> <mi>Y</mi> </msub> <mo>⁢</mo> <mrow> <mo stretchy="false">(</mo> <mi>X</mi> <mo stretchy="false">)</mo> </mrow> </mrow> </mfrac> <mo rspace="0.570em">]</mo> </mrow> <mo rspace="0.681em">=</mo> <munderover> <mo movablelimits="false">∑</mo> <mrow> <mi>μ</mi> <mo>=</mo> <mn>0</mn> </mrow> <mi>I</mi> </munderover> <msub> <mi>P</mi> <mi>X</mi> </msub> <mrow> <mo stretchy="false">(</mo> <mi>μ</mi> <mo rspace="0.055em" stretchy="false">)</mo> </mrow> <mo rspace="0.222em">⋅</mo> <msub> <mi>log</mi> <mn>2</mn> </msub> <mfrac> <mrow> <msub> <mi>P</mi> <mi>X</mi> </msub> <mo>⁢</mo> <mrow> <mo stretchy="false">(</mo> <mi>μ</mi> <mo stretchy="false">)</mo> </mrow> </mrow> <mrow> <msub> <mi>P</mi> <mi>Y</mi> </msub> <mo>⁢</mo> <mrow> <mo stretchy="false">(</mo> <mi>μ</mi> <mo stretchy="false">)</mo> </mrow> </mrow> </mfrac> <mo lspace="0.140em">,</mo> </mrow> }[/math]

[math]\displaystyle{ <mrow> <mi>D</mi> <mrow> <mo stretchy="false">(</mo> <msub> <mi>P</mi> <mi>Y</mi> </msub> <mo fence="false" rspace="0.167em" stretchy="false">|</mo> <mo fence="false" rspace="0.307em" stretchy="false">|</mo> <msub> <mi>P</mi> <mi>X</mi> </msub> <mo rspace="0.430em" stretchy="false">)</mo> </mrow> <mo rspace="0.708em">=</mo> <mi mathvariant="normal">E</mi> <mrow> <mo>[</mo> <msub> <mi>log</mi> <mn>2</mn> </msub> <mfrac> <mrow> <msub> <mi>P</mi> <mi>Y</mi> </msub> <mo>⁢</mo> <mrow> <mo stretchy="false">(</mo> <mi>X</mi> <mo stretchy="false">)</mo> </mrow> </mrow> <mrow> <msub> <mi>P</mi> <mi>X</mi> </msub> <mo>⁢</mo> <mrow> <mo stretchy="false">(</mo> <mi>X</mi> <mo stretchy="false">)</mo> </mrow> </mrow> </mfrac> <mo rspace="0.570em">]</mo> </mrow> <mo rspace="0.681em">=</mo> <munderover> <mo movablelimits="false">∑</mo> <mrow> <mi>μ</mi> <mo>=</mo> <mn>0</mn> </mrow> <mi mathvariant="normal">∞</mi> </munderover> <msub> <mi>P</mi> <mi>Y</mi> </msub> <mrow> <mo stretchy="false">(</mo> <mi>μ</mi> <mo rspace="0.055em" stretchy="false">)</mo> </mrow> <mo rspace="0.222em">⋅</mo> <msub> <mi>log</mi> <mn>2</mn> </msub> <mfrac> <mrow> <msub> <mi>P</mi> <mi>Y</mi> </msub> <mo>⁢</mo> <mrow> <mo stretchy="false">(</mo> <mi>μ</mi> <mo stretchy="false">)</mo> </mrow> </mrow> <mrow> <msub> <mi>P</mi> <mi>X</mi> </msub> <mo>⁢</mo> <mrow> <mo stretchy="false">(</mo> <mi>μ</mi> <mo stretchy="false">)</mo> </mrow> </mrow> </mfrac> <mo lspace="0.140em">.</mo> </mrow> }[/math]

Bei Verwendung von $\log_2$ ist dem Zahlenwert die Pseudo–Einheit „bit” hinzuzufügen.

In nebenstehender Tabelle ist die Kullback–Leibler–Distanz $D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y)$ (in „bit”) zwischen der Binomial–PMF $P_X(\cdot)$ und einigen Poisson–Näherungen $P_Y(\cdot)$ $($mit fünf verschiedenen Raten $\lambda)$ eingetragen.

Die jeweilige Entropie $H(Y)$, die ebenfalls von der Rate $\lambda$ abhängt, ist in der ersten Zeile angegeben.

Die Spalten für $\lambda = 1$ sind in den Teilaufgaben (3) und (4) zu ergänzen.
In der Teilaufgabe (6) sollen diese Ergebnisse interpretiert werden.

Hinweise:

Die Aufgabe gehört zum Kapitel Einige Vorbemerkungen zu zweidimensionalen Zufallsgrößen.
Insbesondere wird Bezug genommen auf die Seite Relative Entropie – Kullback-Leibler-Distanz.
Um die numerischen Berechnungen in Grenzen zu halten, werden folgende Hilfsgrößen vorgegeben; hierbei bezeichnet $\rm \lg$ den Logarithmus zur Basis $10$:

[math]\displaystyle{ <mrow> <mrow> <msup> <mi>A</mi> <mo>′</mo> </msup> <mo>=</mo> <mrow> <mrow> <mrow> <mn>0.4096</mn> <mo lspace="0.222em" rspace="0.222em">⋅</mo> <mi>lg</mi> </mrow> <mo lspace="0.280em">⁢</mo> <mfrac> <mn>0.4096</mn> <mn>0.3679</mn> </mfrac> </mrow> <mo>+</mo> <mrow> <mrow> <mn>0.2048</mn> <mo lspace="0.222em" rspace="0.222em">⋅</mo> <mi>lg</mi> </mrow> <mo lspace="0.280em">⁢</mo> <mfrac> <mn>0.2048</mn> <mn>0.1839</mn> </mfrac> </mrow> <mo>+</mo> <mrow> <mrow> <mn>0.0512</mn> <mo lspace="0.222em" rspace="0.222em">⋅</mo> <mi>lg</mi> </mrow> <mo lspace="0.280em">⁢</mo> <mfrac> <mn>0.0512</mn> <mn>0.0613</mn> </mfrac> </mrow> <mo>+</mo> <mrow> <mrow> <mn>0.0064</mn> <mo lspace="0.222em" rspace="0.222em">⋅</mo> <mi>lg</mi> </mrow> <mo lspace="0.280em">⁢</mo> <mfrac> <mn>0.0064</mn> <mn>0.0153</mn> </mfrac> </mrow> <mo>+</mo> <mrow> <mrow> <mn>0.0003</mn> <mo lspace="0.222em" rspace="0.222em">⋅</mo> <mi>lg</mi> </mrow> <mo lspace="0.280em">⁢</mo> <mfrac> <mn>0.0003</mn> <mn>0.0031</mn> </mfrac> </mrow> </mrow> </mrow> <mo lspace="0.140em">,</mo> </mrow> }[/math]

[math]\displaystyle{ <mrow> <msup> <mi>B</mi> <mo>′</mo> </msup> <mo>=</mo> <mrow> <mrow> <mrow> <mn>0.1839</mn> <mo lspace="0.222em" rspace="0.222em">⋅</mo> <mi>lg</mi> </mrow> <mo lspace="0.280em">⁢</mo> <mrow> <mo stretchy="false">(</mo> <mn>0.1839</mn> <mo stretchy="false">)</mo> </mrow> </mrow> <mo>+</mo> <mrow> <mrow> <mn>0.0613</mn> <mo lspace="0.222em" rspace="0.222em">⋅</mo> <mi>lg</mi> </mrow> <mo lspace="0.280em">⁢</mo> <mrow> <mo stretchy="false">(</mo> <mn>0.0613</mn> <mo stretchy="false">)</mo> </mrow> </mrow> <mo>+</mo> <mrow> <mrow> <mn>0.0153</mn> <mo lspace="0.222em" rspace="0.222em">⋅</mo> <mi>lg</mi> </mrow> <mo lspace="0.280em">⁢</mo> <mrow> <mo stretchy="false">(</mo> <mn>0.0153</mn> <mo stretchy="false">)</mo> </mrow> </mrow> <mo>+</mo> <mrow> <mrow> <mn>0.0031</mn> <mo lspace="0.222em" rspace="0.222em">⋅</mo> <mi>lg</mi> </mrow> <mo lspace="0.280em">⁢</mo> <mrow> <mo stretchy="false">(</mo> <mn>0.0031</mn> <mo stretchy="false">)</mo> </mrow> </mrow> <mo>+</mo> <mrow> <mrow> <mn>0.0005</mn> <mo lspace="0.222em" rspace="0.222em">⋅</mo> <mi>lg</mi> </mrow> <mo lspace="0.280em">⁢</mo> <mrow> <mo stretchy="false">(</mo> <mn>0.0005</mn> <mo stretchy="false">)</mo> </mrow> </mrow> <mo>+</mo> <mrow> <mrow> <mn>0.0001</mn> <mo lspace="0.222em" rspace="0.222em">⋅</mo> <mi>lg</mi> </mrow> <mo lspace="0.280em">⁢</mo> <mrow> <mo stretchy="false">(</mo> <mn>0.0001</mn> <mo stretchy="false">)</mo> </mrow> </mrow> </mrow> </mrow> }[/math]

[math]\displaystyle{ <mrow> <mrow> <mi/> <mo rspace="1.128em" stretchy="false">⇒</mo> <mrow> <mrow> <msup> <mi>A</mi> <mo>′</mo> </msup> <mo lspace="0.140em">⁢</mo> <munder accentunder="true"> <mrow> <mi/> <mo>=</mo> <mn>0.021944</mn> </mrow> <mo>¯</mo> </munder> </mrow> <mo rspace="1.587em">,</mo> <mrow> <msup> <mi>B</mi> <mo>′</mo> </msup> <mo lspace="0.140em">⁢</mo> <munder accentunder="true"> <mrow> <mi/> <mo>=</mo> <mrow> <mo>−</mo> <mn>0.24717</mn> </mrow> </mrow> <mo>¯</mo> </munder> </mrow> </mrow> </mrow> <mo lspace="0em">.</mo> </mrow> }[/math]

Fragebogen

$I \hspace{0.47cm} = \ $

$p \hspace{0.47cm} = \ $

$m_x \ = \ $

$\sigma^2_x \hspace{0.25cm} = \ $

	Keine der beiden Distanzen ist anwendbar.
	$D(P_X \hspace{0.05cm}\|\| \hspace{0.05cm} P_Y)$ ist besser geeignet.
	$D(P_Y \hspace{0.05cm}\|\| \hspace{0.05cm} P_X)$ ist besser geeignet.
	Beide Kullback–Leibler–Distanzen sind anwendbar.

$D \ = \ $ $\ \rm bit$

$H(Y) \ = \ $ $\ \rm bit$

	Bei der $H(Y)$–Berechnung haben alle Terme gleiches Vorzeichen.
	Bei der $D(P_X \hspace{0.05cm}\|\| \hspace{0.05cm} P_Y)$–Berechnung haben alle Terme gleiches Vorzeichen.

	Nach der Kullback–Leibler–Distanz sollte man $\lambda = 1$ wählen.
	$\lambda = 1$ garantiert die beste Approximation $H(Y) ≈ H(X)$.

Musterlösung

(1) Bei der Binomialverteilung sind alle Wahrscheinlichkeiten ${\rm Pr}(X > I) = 0$ ⇒ $\underline{I = 5}$. Damit ergibt sich für die Wahrscheinlichkeit, dass $X =I = 5$ ist:

[math]\displaystyle{ <mrow> <mrow> <mrow> <mi>Pr</mi> <mo>⁢</mo> <mrow> <mo stretchy="false">(</mo> <mrow> <mi>X</mi> <mo>=</mo> <mn>5</mn> </mrow> <mo stretchy="false">)</mo> </mrow> </mrow> <mo>=</mo> <mrow> <mrow> <mo>(</mo> <mfrac linethickness="0pt"> <mn>5</mn> <mn>5</mn> </mfrac> <mo rspace="0.055em">)</mo> </mrow> <mo rspace="0.222em">⋅</mo> <msup> <mi>p</mi> <mn>5</mn> </msup> </mrow> <mo>=</mo> <msup> <mi>p</mi> <mn>5</mn> </msup> <mo>≈</mo> <mn>0.0003</mn> </mrow> <mo lspace="0.140em">.</mo> </mrow> }[/math]

Somit erhält man für

die charakteristische Wahrscheinlichkeit: $p= (0.0003)^{1/5} = 0.1974 \hspace{0.15cm} \underline {\approx 0.2}\hspace{0.05cm},$
den linearen Mittelwert (Erwartungswert): $m_X = I \cdot p \hspace{0.15cm} \underline {= 1}\hspace{0.05cm},$
die Varianz: $\sigma_X^2 = I \cdot p \cdot (1-p) \hspace{0.15cm} \underline {= 0.8}\hspace{0.05cm}.$

(2) Richtig ist der Lösungsvorschlag 2:

Bei Verwendung von $D(P_Y \hspace{0.05cm}|| \hspace{0.05cm} P_X)$ würde sich unabhängig von $λ$ stets ein unendlicher Wert ergeben, da für $\mu ≥ 6$ gilt:

[math]\displaystyle{ <mrow> <mrow> <mrow> <mrow> <msub> <mi>P</mi> <mi>X</mi> </msub> <mo>⁢</mo> <mrow> <mo stretchy="false">(</mo> <mrow> <mi>X</mi> <mo>=</mo> <mi>μ</mi> </mrow> <mo stretchy="false">)</mo> </mrow> </mrow> <mo>=</mo> <mn>0</mn> </mrow> <mo lspace="0.140em" rspace="1.017em">,</mo> <mrow> <mrow> <msub> <mi>P</mi> <mi>Y</mi> </msub> <mo>⁢</mo> <mrow> <mo stretchy="false">(</mo> <mrow> <mi>Y</mi> <mo>=</mo> <mi>μ</mi> </mrow> <mo stretchy="false">)</mo> </mrow> </mrow> <mo>≠</mo> <mn>0</mn> </mrow> </mrow> <mo lspace="0.140em">.</mo> </mrow> }[/math]

Auch wenn die Wahrscheinlichkeiten $P_Y (Y = \mu)$ für große $μ$ sehr klein werden, sind sie doch „unendlich viel größer” als $P_X (X = \mu)$.

(3) Wir verwenden die erste Kullback–Leibler–Distanz:

[math]\displaystyle{ <mrow> <mi>D</mi> <mo>=</mo> <mi>D</mi> <mrow> <mo stretchy="false">(</mo> <msub> <mi>P</mi> <mi>X</mi> </msub> <mo fence="false" rspace="0.167em" stretchy="false">|</mo> <mo fence="false" rspace="0.307em" stretchy="false">|</mo> <msub> <mi>P</mi> <mi>Y</mi> </msub> <mo stretchy="false">)</mo> </mrow> <mo rspace="0.681em">=</mo> <munderover> <mo movablelimits="false">∑</mo> <mrow> <mi>μ</mi> <mo>=</mo> <mn>0</mn> </mrow> <mn>5</mn> </munderover> <msub> <mi>P</mi> <mi>X</mi> </msub> <mrow> <mo stretchy="false">(</mo> <mi>μ</mi> <mo rspace="0.055em" stretchy="false">)</mo> </mrow> <mo rspace="0.222em">⋅</mo> <msub> <mi>log</mi> <mn>2</mn> </msub> <mfrac> <mrow> <msub> <mi>P</mi> <mi>X</mi> </msub> <mo>⁢</mo> <mrow> <mo stretchy="false">(</mo> <mi>μ</mi> <mo stretchy="false">)</mo> </mrow> </mrow> <mrow> <msub> <mi>P</mi> <mi>Y</mi> </msub> <mo>⁢</mo> <mrow> <mo stretchy="false">(</mo> <mi>μ</mi> <mo stretchy="false">)</mo> </mrow> </mrow> </mfrac> <mo lspace="0.140em">.</mo> </mrow> }[/math]

Bei Verwendung des Zehnerlogarithmus $(\lg)$ erhalten wir für die Poisson–Näherung mit $\lambda = 1$:

[math]\displaystyle{ <mrow> <mrow> <msup> <mi>D</mi> <mo>′</mo> </msup> <mo>=</mo> <mrow> <mrow> <mrow> <mn>0.3277</mn> <mo lspace="0.222em" rspace="0.222em">⋅</mo> <mi>lg</mi> </mrow> <mo lspace="0.280em">⁢</mo> <mfrac> <mn>0.3277</mn> <mn>0.3679</mn> </mfrac> </mrow> <mo>+</mo> <msup> <mi>A</mi> <mo>′</mo> </msup> </mrow> <mo lspace="0.418em">=</mo> <mrow> <mrow> <mo>−</mo> <mn>0.016468</mn> </mrow> <mo>+</mo> <mn>0.021944</mn> </mrow> <mo>=</mo> <mn>0.005476</mn> </mrow> <mo lspace="0.140em">.</mo> </mrow> }[/math]

Nach Umrechnung auf den Zweierlogarithmus $(\log_2)$ erhält man schließlich:

[math]\displaystyle{ <mrow> <mi>D</mi> <mo>=</mo> <mi>D</mi> <mrow> <mo stretchy="false">(</mo> <msub> <mi>P</mi> <mi>X</mi> </msub> <mo fence="false" rspace="0.167em" stretchy="false">|</mo> <mo fence="false" rspace="0.307em" stretchy="false">|</mo> <msub> <mi>P</mi> <mi>Y</mi> </msub> <mo stretchy="false">)</mo> </mrow> <mo>=</mo> <mfrac> <mn>0.005476</mn> <mrow> <mi>lg</mi> <mo lspace="0.280em">⁢</mo> <mrow> <mo stretchy="false">(</mo> <mn>2</mn> <mo stretchy="false">)</mo> </mrow> </mrow> </mfrac> <munder accentunder="true"> <mrow> <mi/> <mo>≈</mo> <mrow> <mn>0.0182</mn> <mo lspace="0.500em">⁢</mo> <mrow> <mo stretchy="false">(</mo> <mi>bit</mi> <mo stretchy="false">)</mo> </mrow> </mrow> </mrow> <mo>¯</mo> </munder> <mo lspace="0em">.</mo> </mrow> }[/math]

(4) Unter Verwendung des Zehnerlogarithmus lautet die Entropie der Poisson–Näherung $(\lambda = 1)$:

[math]\displaystyle{ <mrow> <mrow> <mrow> <msup> <mi>H</mi> <mo>′</mo> </msup> <mo>⁢</mo> <mrow> <mo stretchy="false">(</mo> <mi>Y</mi> <mo stretchy="false">)</mo> </mrow> </mrow> <mo>=</mo> <mrow> <mo>−</mo> <mrow> <mi mathvariant="normal">E</mi> <mo>⁢</mo> <mrow> <mo>[</mo> <mrow> <mi>lg</mi> <mo lspace="0.280em">⁢</mo> <msub> <mi>P</mi> <mi>Y</mi> </msub> <mo>⁢</mo> <mrow> <mo stretchy="false">(</mo> <mi>Y</mi> <mo stretchy="false">)</mo> </mrow> </mrow> <mo>]</mo> </mrow> </mrow> </mrow> <mo>=</mo> <mrow> <mrow> <mo>−</mo> <mrow> <mrow> <mn>2</mn> <mo lspace="0.222em" rspace="0.222em">⋅</mo> <mn>0.3679</mn> <mo lspace="0.222em" rspace="0.222em">⋅</mo> <mi>lg</mi> </mrow> <mo lspace="0.280em">⁢</mo> <mrow> <mo stretchy="false">(</mo> <mn>0.3679</mn> <mo stretchy="false">)</mo> </mrow> </mrow> </mrow> <mo>−</mo> <msup> <mi>B</mi> <mo>′</mo> </msup> </mrow> <mo lspace="0.418em">=</mo> <mrow> <mn>0.31954</mn> <mo>+</mo> <mn>0.24717</mn> </mrow> <mo>=</mo> <mn>0.56126</mn> </mrow> <mo lspace="0em">.</mo> </mrow> }[/math]

Die Umrechnung in „bit” liefert das gesuchte Ergebnis:

[math]\displaystyle{ <mrow> <mrow> <mrow> <mi>H</mi> <mo>⁢</mo> <mrow> <mo stretchy="false">(</mo> <mi>Y</mi> <mo stretchy="false">)</mo> </mrow> </mrow> <mo>=</mo> <mrow> <mfrac> <mn>0.56126</mn> <mrow> <mi>lg</mi> <mo lspace="0.280em">⁢</mo> <mrow> <mo stretchy="false">(</mo> <mn>2</mn> <mo stretchy="false">)</mo> </mrow> </mrow> </mfrac> <mo lspace="0.430em">⁢</mo> <munder accentunder="true"> <mrow> <mi/> <mo>=</mo> <mrow> <mn>1.864</mn> <mo lspace="0.500em">⁢</mo> <mrow> <mo stretchy="false">(</mo> <mi>bit</mi> <mo stretchy="false">)</mo> </mrow> </mrow> </mrow> <mo>¯</mo> </munder> </mrow> </mrow> <mo lspace="0em">.</mo> </mrow> }[/math]

(5) Richtig ist die Aussage 1. Bei der numerischen Berechnung der Kullback–Leibler–Distanz ist

der Beitrag des $μ$–ten Terms positiv, falls $P_Y(\mu) > P_X(\mu)$,
der Beitrag des $μ$–ten Terms negativ, falls $P_Y(\mu) < P_X(\mu)$.

(6) Zutreffend ist der Lösungsvorschlag 1:

Auch aus der Grafik ist ersichtlich, dass $D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y) =0.0182$ bit von keinem anderen $λ$–Wert als $λ = 1$ unterschritten wird (grüne Kreuze).
Weiter erkennt man aus dieser Darstellung, dass man mit $λ = 0.9$ eine bessere Entropie–Approximation als mit $λ = 1$ erreicht (blaue Kreise):

[math]\displaystyle{ <mrow> <mrow> <mrow> <mi>H</mi> <mo>⁢</mo> <mrow> <mo stretchy="false">(</mo> <mi>Y</mi> <mo stretchy="false">)</mo> </mrow> </mrow> <mo>=</mo> <mrow> <mn>1.795</mn> <mo lspace="0.500em">⁢</mo> <mi>bit</mi> </mrow> <mo lspace="0.708em" rspace="0.708em">≈</mo> <mrow> <mi>H</mi> <mo>⁢</mo> <mrow> <mo stretchy="false">(</mo> <mi>X</mi> <mo stretchy="false">)</mo> </mrow> </mrow> <mo>=</mo> <mrow> <mn>1.793</mn> <mo lspace="0.500em">⁢</mo> <mi>bit</mi> </mrow> </mrow> <mo lspace="0.140em">.</mo> </mrow> }[/math]

Der zweite Lösungsvorschlag ist also falsch.

Mit $λ = 1$ stimmen die linearen Mittelwerte der beiden Zufallsgrößen überein:

[math]\displaystyle{ <mrow> <mrow> <msub> <mi>m</mi> <mi>X</mi> </msub> <mo>=</mo> <msub> <mi>m</mi> <mi>Y</mi> </msub> <mo>=</mo> <mn>1</mn> </mrow> <mo lspace="0em">.</mo> </mrow> }[/math]

Mit $λ = 0.9$ stimmen die quadratischen Mittelwerte überein:

[math]\displaystyle{ <mrow> <mrow> <mrow> <msub> <mi>m</mi> <mi>X</mi> </msub> <mo>+</mo> <msubsup> <mi>σ</mi> <mi>X</mi> <mn>2</mn> </msubsup> </mrow> <mo>=</mo> <mrow> <msub> <mi>m</mi> <mi>Y</mi> </msub> <mo>+</mo> <msubsup> <mi>σ</mi> <mi>Y</mi> <mn>2</mn> </msubsup> </mrow> <mo>=</mo> <mn>1.8</mn> </mrow> <mo lspace="0em">.</mo> </mrow> }[/math]

Ob diese Aussage relevant ist, lassen wir dahingestellt.

Denn: Aufgrund der stetigen Zunahme von $H(Y)$ mit zunehmendem $λ$ ist klar, dass für irgendeinen $λ$–Wert tatsächlich $H(Y) = H(X)$ gelten muss.