Aufgabe 3.5: Kullback-Leibler-Distanz & Binominalverteilung - Versionsgeschichte

Guenter am 31. August 2021 um 12:34 Uhr

2021-08-31T12:34:47Z

Guenter am 31. August 2021 um 10:27 Uhr

2021-08-31T10:27:39Z

Guenter am 30. Januar 2020 um 15:54 Uhr

2020-01-30T15:54:14Z

Guenter am 30. Januar 2020 um 15:35 Uhr

2020-01-30T15:35:52Z

Guenter am 30. Januar 2020 um 15:24 Uhr

2020-01-30T15:24:53Z

Guenter am 9. Oktober 2018 um 09:06 Uhr

2018-10-09T09:06:27Z

Guenter am 9. Oktober 2018 um 08:41 Uhr

2018-10-09T08:41:41Z

Guenter am 9. Oktober 2018 um 08:24 Uhr

2018-10-09T08:24:25Z

Guenter: Die Seite wurde neu angelegt: „ {{quiz-Header|Buchseite=Informationstheorie/Einige Vorbemerkungen zu zweidimensionalen Zufallsgrößen }} Datei:P_ID2759__Inf_A_3_4_A.png|right|Vorgegebene…“

2018-10-08T08:51:56Z

Die Seite wurde neu angelegt: „ {{quiz-Header|Buchseite=Informationstheorie/Einige Vorbemerkungen zu zweidimensionalen Zufallsgrößen }} Datei:P_ID2759__Inf_A_3_4_A.png|right|Vorgegebene…“

Neue Seite

{{quiz-Header|Buchseite=Informationstheorie/Einige Vorbemerkungen zu zweidimensionalen Zufallsgrößen
}}

[[Datei:P_ID2759__Inf_A_3_4_A.png|right|Vorgegebene Wahrscheinlichkeiten]]
Wir gehen hier von der [[Stochastische_Signaltheorie/Binomialverteilung|Binomialverteilung]] aus, die durch die Parameter $I$ und $p$ gekennzeichnet ist ⇒ siehe Buch &bdquo;Stochastische Signaltheorie”:

* Wertebereich:
:$$X = \{\hspace{0.05cm}0\hspace{0.05cm}, \hspace{0.05cm} 1\hspace{0.05cm},\hspace{0.05cm}
2\hspace{0.05cm},\hspace{0.05cm} ...\hspace{0.1cm} ,\hspace{0.05cm} {\mu}\hspace{0.05cm}, \hspace{0.05cm}...\hspace{0.1cm} , \hspace{0.05cm} I\hspace{0.05cm}\}\hspace{0.05cm},$$
* Wahrscheinlichkeiten:
:$$P_X (X = \mu) = {I \choose \mu} \cdot p^{\mu} \cdot (1-p)^{I-\mu} \hspace{0.05cm},$$
* linearer Mittelwert:
:$$m_X = I \cdot p \hspace{0.05cm},$$
* Varianz:
:$$\sigma_X^2 = I \cdot p \cdot (1-p)\hspace{0.05cm}.$$
Im rot hinterlegten Teil obiger Tabelle sind die Wahrscheinlichkeiten $P_X(X = \mu$) der hier betrachteten Binomialverteilung angegeben. In der Teilaufgabe (1) sollen Sie die dazugehörigen Verteilungsparameter $I$ und $p$ bestimmen.

Diese vorgegebene Binomialverteilung soll hier durch eine [[Stochastische_Signaltheorie/Poissonverteilung|Poissonverteilung]] $Y$ approximiert werden, gekennzeichnet durch die Rate $\lambda$:

* Wertebereich:
:$$Y = \{\hspace{0.05cm}0\hspace{0.05cm}, \hspace{0.05cm} 1\hspace{0.05cm},\hspace{0.05cm}
2\hspace{0.05cm},\hspace{0.05cm} ...\hspace{0.1cm} ,\hspace{0.05cm} {\mu}\hspace{0.05cm}, \hspace{0.05cm}...\hspace{0.1cm}\}\hspace{0.05cm},$$
* Wahrscheinlichkeiten:
:$$P_Y (Y = \mu) = \frac{\lambda^{\mu}}{\mu !} \cdot {\rm e}^{\lambda} \hspace{0.05cm},$$
* Erwartungswerte:
:$$m_Y = \sigma_Y^2 = \lambda\hspace{0.05cm}.$$

Um abschätzen zu können, ob die Wahrscheinlichkeitsfunktion $P_X(X)$ ausreichend gut durch $P_Y(Y)$ approximiert wird, kann man auf die so genannten Kullback–Leibler–Distanzen (KLD) zurückgreifen, teilweise in der Literatur auch relative Entropien genannt. Angepasst an das vorliegende Beispiel lauten diese:
:$$D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y) \hspace{0.15cm} = \hspace{0.15cm} {\rm E} \left [ {\rm log}_2 \hspace{0.1cm} \frac{P_X(X)}{P_Y(X)}\right ] \hspace{0.2cm}=\hspace{0.2cm} \sum_{\mu = 0}^{I} P_X(\mu) \cdot {\rm log}_2 \hspace{0.1cm} \frac{P_X(\mu)}{P_Y(\mu)} \hspace{0.05cm},$$
:$$D(P_Y \hspace{0.05cm}|| \hspace{0.05cm} P_X) \hspace{0.15cm} = \hspace{0.15cm} {\rm E} \left [ {\rm log}_2 \hspace{0.1cm} \frac{P_Y(X)}{P_X(X)}\right ] \hspace{0.2cm}=\hspace{0.2cm} \sum_{\mu = 0}^{\infty} P_Y(\mu) \cdot {\rm log}_2 \hspace{0.1cm} \frac{P_Y(\mu)}{P_X(\mu)} \hspace{0.05cm}.$$
Bei Verwendung des Logarithmus dualis (zur Basis 2) ist hierbei dem Zahlenwert die Pseudo–Einheit &bdquo;bit” hinzuzufügen.

[[Datei:P_ID2760__Inf_A_3_4_B.png|right|Beiliegende Ergebnistabelle]]
In nebenstehender Ergebnistabelle ist die sog. Kullback–Leibler–Distanz $D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y)$ (in &bdquo;bit”) zwischen der Binomial–PMF $P_X(\cdot)$ und einigen Poisson–Näherungen $P_Y(\cdot)$ (mit fünf verschiedenen Raten $\lambda$) eingetragen. Die jeweilige Entropie $H(Y)$, die ebenfalls von der Rate $\lambda$ abhängt, ist in der ersten Zeile angegeben.

Die Spalten für $\lambda = 1$ sind in den Teilaufgaben (3) und (4) zu ergänzen. In der Teilaufgabe (6) sollen diese Ergebnisse interpretriert werden.

''Hinweise:''
*Die Aufgabe gehört zum Kapitel [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen|Einige Vorbemerkungen zu den 2D-Zufallsgrößen]].
*Insbesondere wird Bezug genommen auf die Seite [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Relative_Entropie_.E2.80.93_Kullback.E2.80.93Leibler.E2.80.93Distanz|Relative_Entropie – Kullback-Leibler-Distanz]].

*Um die numerischen Berechnungen in Grenzen zu halten, werden folgende Hilfsgrößen vorgegeben; &bdquo;lg” bezeichnet den Logarithmus zur Basis 10:
:$$A' =
0.4096 \cdot {\rm lg} \hspace{0.1cm} \frac{0.4096}{0.3679} +
0.2048 \cdot {\rm lg} \hspace{0.1cm} \frac{0.2048}{0.1839} +
0.0512 \cdot {\rm lg} \hspace{0.1cm} \frac{0.0512}{0.0613} +
0.0064 \cdot {\rm lg} \hspace{0.1cm} \frac{0.0064}{0.0153} +
0.0003 \cdot {\rm lg} \hspace{0.1cm} \frac{0.0003}{0.0031} \hspace{0.05cm},$$
:$$B' =
0.1839 \cdot {\rm lg} \hspace{0.1cm} (0.1839) +
0.0613 \cdot {\rm lg} \hspace{0.1cm} (0.0613) +
0.0153 \cdot {\rm lg} \hspace{0.1cm} (0.0153) +
0.0031 \cdot {\rm lg} \hspace{0.1cm} (0.0031) +
0.0005 \cdot {\rm lg} \hspace{0.1cm} (0.0005) +
0.0001 \cdot {\rm lg} \hspace{0.1cm} (0.0001)$$
:$$\Rightarrow \hspace{0.3cm} A' \hspace{0.15cm} \underline {= 0.021944} \hspace{0.05cm},\hspace{0.5cm}
B' \hspace{0.15cm} \underline {= -0.24717} \hspace{0.05cm}.$$

===Fragebogen===

<quiz display=simple>
{Wie lauten die Kenngrößen der vorliegenden Binomialverteilung? Hinweis: Geben Sie (maximal) eine Nachkommastelle ein.
|type="{}"}
$I \hspace{0.47cm} = \ $ { 5 3% }
$p \hspace{0.47cm} = \ $ { 0.2 3% }
$m_x \ = \ $ { 1 3% }
$\sigma^2_x \hspace{0.25cm} = \ $ { 0.8 3% }

{Welche Kullback–Leibler–Distanz sollte man hier verwenden?
|type="[]"}
- Keine der beiden Distanzen ist anwendbar.
+ D(PX||PY) ist besser geeignet.
- D(PY||PX) ist besser geeignet.
- Beide Kullback–Leibler–Distanzen sind anwendbar.

{Berechnen Sie die geeignete Kullback–Leibler–Distanz (hier mit D abgekürzt) für λ = 1. Berücksichtigen Sie die Hilfsgröße $A'$.
|type="{}"}
$D \ = \ $ { 0.0182 3% } $\ \rm bit$

{Berechnen Sie die Entropie H(Y) der Poisson–Näherung mit der Rate λ = 1.
Berücksichtigen Sie die Hilfsgröße B′.
|type="{}"}
$H(Y) \ = \ $ { 1.864 3% } $\ \rm bit$

{Welche der folgenden Aussagen sind zutreffend?
|type="[]"}
+ Bei der H(Y)–Berechnung haben alle Terme gleiches Vorzeichen.
- Bei der D(PX||PY)–Berechnung haben alle Terme gleiches Vorzeichen.

{Wie interpretieren Sie die vervollständigte Ergebnistabelle?
|type="[]"}
+ Nach der Kullback–Leibler–Distanz sollte man λ = 1 wählen.
- λ = 1 garantiert auch die beste Approximation H(Y) ≈ H(X).

</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Bei der Binomialverteilung sind alle Wahrscheinlichkeiten Pr(X > I) = 0  ⇒  I = 5. Damit ergibt sich für die Wahrscheinlichkeit, dass X gleich I = 5 ist:
:$${\rm Pr} (X = 5) = {5 \choose 5} \cdot p^{5} = p^{5} \approx 0.0003 \hspace{0.05cm}.$$
Somit erhält man für

* die charakteristische Wahrscheinlichkeit:   $p= (0.0003)^{1/5} = 0.1974 \hspace{0.15cm} \underline {\approx 0.2}\hspace{0.05cm},$
* den linearen Mittelwert (Erwartungswert):   $m_X = I \cdot p \hspace{0.15cm} \underline {= 1}\hspace{0.05cm},$
* die Varianz:   $\sigma_X^2 = I \cdot p \cdot (1-p) \hspace{0.15cm} \underline {= 0.8}\hspace{0.05cm}.$

'''(2)'''  Richtig ist der Lösungsvorschlag 2:
*Bei Verwendung von D(PY||PX) würde sich unabhängig von λ stets ein unendlicher Wert ergeben, da für μ ≥ 6 gilt:
:$$P_X (X = \mu) = 0 \hspace{0.05cm},\hspace{0.3cm}P_Y (Y = \mu) \ne 0 \hspace{0.05cm}.$$
*Auch wenn die Wahrscheinlichkeiten PY(Y = μ) für große μ sehr klein werden, sind sie doch &bdquo;unendlich viel größer” als PX(X = μ).

'''(3)'''  Wir verwenden die erste Kullback–Leibler–Distanz:
:$$D = D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y) =\hspace{0.2cm} \sum_{\mu = 0}^{5} P_X(\mu) \cdot {\rm log}_2 \hspace{0.1cm} \frac{P_X(\mu)}{P_Y(\mu)} \hspace{0.05cm}.$$
Bei Verwendung des Zehnerlogarithmus (&bdquo;lg”) erhalten wir für die Poisson–Näherung mit λ = 1:
:$$D \hspace{0.05cm}' = 0.3277 \cdot {\rm lg} \hspace{0.1cm} \frac{0.3277}{0.3679} + A \hspace{0.05cm}' =
-0.016468 + 0.021944 = 0.005476 \hspace{0.05cm}.$$
Nach Umrechnung auf den Zweierlogarithmus (&bdquo;log2”) erhält man schließlich:
:$$D = D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y) = \frac{0.005476}{{\rm lg} \hspace{0.1cm}(2)} \hspace{0.15cm} \underline {\approx 0.0182\,{\rm (bit)}}\hspace{0.05cm}.$$

'''(4)'''  Unter Verwendung des Zehnerlogarithmus lautet die Entropie der Poisson–Näherung (λ = 1):
:$$H\hspace{0.05cm}'(Y) = -{\rm E} \left [{\rm lg} \hspace{0.1cm} {P_Y(Y)} \right ]
= -2 \cdot 0.3679 \cdot {\rm lg} \hspace{0.1cm} (0.3679) - B\hspace{0.05cm}' = 0.31954 + 0.24717 = 0.56126.$$
Die Umrechnung in &bdquo;bit” liefert das gesuchte Ergebnis:
:$$H(Y) = \frac{0.56126}{{\rm lg} \hspace{0.1cm}(2)}
\hspace{0.15cm} \underline {= 1.864\,{\rm (bit)}} \hspace{0.05cm}.$$

'''(5)'''  Richtig ist die Aussage 1. Bei der numerischen Berechnung der Kullback–Leibler–Distanz ist
* der Beitrag des μ–ten Terms positiv, falls PY(μ) > PX(μ),
* der Beitrag des μ–ten Terms negativ, falls PY(μ) < PX(μ).

[[Datei:P_ID2761__Inf_A_3_4_C.png|right|Kullback–Leibler–Distanz und Entropie]]
'''(6)'''  Zutreffend ist der Lösungsvorschlag 1:
*Auch aus der Grafik ist ersichtlich, dass D(PX||PY) = 0.0182 bit von keinem anderen λ–Wert als λ = 1 unterschritten wird (grüne Kreuze).
*Weiter erkennt man aus dieser Darstellung, dass man mit λ = 0.9 eine bessere Entropie–Approximation als mit λ = 1 erreicht (blaue Kreise):
:$$H(Y) = 1.795\,{\rm bit} \hspace{0.15cm}\approx \hspace{0.15cm} H(X) = 1.793\,{\rm bit}\hspace{0.05cm}.$$
:Der zweite Lösungsvorschlag ist also falsch.

Weiter ist anzumerken:
* Mit λ = 1 stimmen die linearen Mittelwerte der beiden Zufallsgrößen überein: mX = mY = 1.
* Mit λ = 0.9 stimmen die quadratischen Mittelwerte überein: mX + σX2 = mY + σY2 = 1.8.

Ob diese Aussage relevant ist, lasse ich dahingestellt. Denn: Aufgrund der stetigen Zunahme von H(Y) mit zunehmendem λ ist klar, dass für irgendeinen λ–Wert tatsächlich H(Y) = H(X) gelten muss.
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^3.1 Allgemeines zu 2D-Zufallsgrößen^]]

@@ Zeile 24: / Zeile 24: @@
 \hspace{0.05cm},\hspace{0.15cm}  \text{...}\hspace{0.1cm} ,\hspace{0.15cm} {\mu}\hspace{0.05cm}, \hspace{0.05cm}\text{...}\hspace{0.1cm}\}\hspace{0.05cm},$$
 * Wahrscheinlichkeiten:
-:$$P_Y (Y = \mu) = \frac{\lambda^{\mu}}{\mu !} \cdot {\rm e}^{\lambda} \hspace{0.05cm},$$
+:$$P_Y (Y = \mu) = \frac{\lambda^{\mu}}{\mu !} \cdot {\rm e}^{-\lambda} \hspace{0.05cm},$$
 * Erwartungswerte:
 :$$m_Y = \sigma_Y^2 = \lambda\hspace{0.05cm}.$$
-Um abschätzen zu können, ob die Wahrscheinlichkeitsfunktion&nbsp; $P_X(X)$&nbsp; ausreichend gut durch&nbsp; $P_Y(Y)$&nbsp; approximiert wird, kann man auf die so genannten&nbsp; <b>Kullback&ndash;Leibler&ndash;Distanzen</b>&nbsp; ('''KLD''')&nbsp; zurückgreifen, in der Literatur teilweise  auch&nbsp;  &bdquo;relative Entropien&rdquo;&nbsp; genannt.
+Um abschätzen zu können, ob die Wahrscheinlichkeitsfunktion&nbsp; $P_X(X)$&nbsp; ausreichend gut durch&nbsp; $P_Y(Y)$&nbsp; approximiert wird, kann man auf die so genannten&nbsp; <b>Kullback&ndash;Leibler&ndash;Distanzen</b>&nbsp; $\rm (KLD)$&nbsp; zurückgreifen, in der Literatur teilweise  auch&nbsp;  &bdquo;relative Entropien&rdquo;&nbsp; genannt.
 Angepasst an das vorliegende Beispiel lauten diese:
@@ Zeile 169: / Zeile 169: @@
 :$$m_X + \sigma_X^2 = m_Y + \sigma_Y^2= 1.8.$$
-Ob diese Aussage relevant ist, lassen wir dahingestellt.&nbsp; Denn: &nbsp; Aufgrund der stetigen Zunahme von&nbsp; $H(Y)$&nbsp; mit zunehmendem&nbsp; $&lambda;$&nbsp; ist klar, dass für irgendeinen&nbsp; $&lambda;$&ndash;Wert tatsächlich&nbsp; $H(Y) = H(X)$&nbsp; gelten muss.
+Ob diese Aussage relevant ist, lassen wir dahingestellt.&nbsp;
 {{ML-Fuß}}

@@ Zeile 28: / Zeile 28: @@
 :$$m_Y = \sigma_Y^2 = \lambda\hspace{0.05cm}.$$
-Um abschätzen zu können, ob die Wahrscheinlichkeitsfunktion&nbsp; $P_X(X)$&nbsp; ausreichend gut durch&nbsp; $P_Y(Y)$&nbsp; approximiert wird, kann man auf die so genannten&nbsp; <i>Kullback&ndash;Leibler&ndash;Distanzen</i>&nbsp; ('''KLD''')&nbsp; zurückgreifen, in der Literatur teilweise  auch&nbsp;  &bdquo;relative Entropien&rdquo;&nbsp; genannt.
+Um abschätzen zu können, ob die Wahrscheinlichkeitsfunktion&nbsp; $P_X(X)$&nbsp; ausreichend gut durch&nbsp; $P_Y(Y)$&nbsp; approximiert wird, kann man auf die so genannten&nbsp; <b>Kullback&ndash;Leibler&ndash;Distanzen</b>&nbsp; ('''KLD''')&nbsp; zurückgreifen, in der Literatur teilweise  auch&nbsp;  &bdquo;relative Entropien&rdquo;&nbsp; genannt.
 Angepasst an das vorliegende Beispiel lauten diese:
@@ Zeile 36: / Zeile 36: @@
 Bei Verwendung von&nbsp; $\log_2$&nbsp; ist dem Zahlenwert die Pseudo&ndash;Einheit &bdquo;bit&rdquo; hinzuzufügen.
-In nebenstehender  Tabelle ist die Kullback&ndash;Leibler&ndash;Distanz&nbsp;  $D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y)$&nbsp;   (in &bdquo;bit&rdquo;) zwischen der Binomial&ndash;PMF&nbsp;  $P_X(\cdot)$&nbsp;  und einigen Poisson&ndash;Näherungen&nbsp;  $P_Y(\cdot)$&nbsp;    $($mit fünf verschiedenen Raten $\lambda)$&nbsp;  eingetragen.
+In nebenstehender  Tabelle ist die Kullback&ndash;Leibler&ndash;Distanz&nbsp;  $D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y)$&nbsp;   (in &bdquo;bit&rdquo;)&nbsp; zwischen der Binomial&ndash;PMF&nbsp;  $P_X(\cdot)$&nbsp;  und einigen Poisson&ndash;Näherungen&nbsp;  $P_Y(\cdot)$&nbsp;    $($mit fünf verschiedenen Raten $\lambda)$&nbsp;  eingetragen.
 *Die jeweilige Entropie &nbsp;$H(Y)$, die ebenfalls von der Rate &nbsp;$\lambda$&nbsp; abhängt, ist in der ersten Zeile angegeben.
@@ Zeile 45: / Zeile 45: @@
-''Hinweise:''
+Hinweise:
-*Die Aufgabe gehört zum  Kapitel&nbsp; [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen|Einige Vorbemerkungen zu den 2D-Zufallsgrößen]].
+*Die Aufgabe gehört zum  Kapitel&nbsp; [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen|Einige Vorbemerkungen zu zweidimensionalen Zufallsgrößen]].
 *Insbesondere wird Bezug genommen auf die Seite&nbsp; [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Relative_Entropie_.E2.80.93_Kullback.E2.80.93Leibler.E2.80.93Distanz|Relative Entropie &ndash; Kullback-Leibler-Distanz]].
 *Um die numerischen Berechnungen in Grenzen zu halten, werden folgende Hilfsgrößen vorgegeben;&nbsp;  hierbei bezeichnet&nbsp; $\rm \lg$&nbsp; den Logarithmus zur Basis&nbsp; $10$:
-:$$A' =
+:$$A\hspace{0.05cm}' =
 .4096 \cdot {\rm lg} \hspace{0.1cm} \frac{0.4096}{0.3679} +
 .2048 \cdot {\rm lg} \hspace{0.1cm} \frac{0.2048}{0.1839} +
@@ Zeile 56: / Zeile 55: @@
 .0064 \cdot {\rm lg} \hspace{0.1cm} \frac{0.0064}{0.0153} +
 .0003 \cdot {\rm lg} \hspace{0.1cm} \frac{0.0003}{0.0031} \hspace{0.05cm},$$
-:$$B' =
+:$$B\hspace{0.05cm}' =
 .1839 \cdot {\rm lg} \hspace{0.1cm} (0.1839) +
 .0613 \cdot {\rm lg} \hspace{0.1cm} (0.0613) +
@@ Zeile 63: / Zeile 62: @@
 .0005 \cdot {\rm lg} \hspace{0.1cm} (0.0005) +
 .0001 \cdot {\rm lg} \hspace{0.1cm} (0.0001)$$
-:$$\Rightarrow \hspace{0.3cm} A'  \hspace{0.15cm} \underline {= 0.021944}  \hspace{0.05cm},\hspace{0.5cm}
+:$$\Rightarrow \hspace{0.3cm} A\hspace{0.05cm}'  \hspace{0.15cm} \underline {= 0.021944}  \hspace{0.05cm},\hspace{0.5cm}
-B'  \hspace{0.15cm} \underline {= -0.24717}  \hspace{0.05cm}.$$
+B\hspace{0.05cm}'  \hspace{0.15cm} \underline {= -0.24717}  \hspace{0.05cm}.$$
@@ Zeile 70: / Zeile 69: @@
 <quiz display=simple>
-{Wie lauten die Kenngrößen der vorliegenden Binomialverteilung?&nbsp; <i>Hinweis:</i> Geben Sie (maximal) eine Nachkommastelle ein.
+{Wie lauten die Kenngrößen der vorliegenden Binomialverteilung?&nbsp; Hinweis:&nbsp; Geben Sie (maximal) eine Nachkommastelle ein.
 |type="{}"}
 $I \hspace{0.47cm}  = \ $ { 5 3% }

@@ Zeile 113: / Zeile 113: @@
 ===Musterlösung===
 {{ML-Kopf}}
-'''(1)'''&nbsp; Bei der Binomialverteilung sind alle Wahrscheinlichkeiten ${\rm Pr}(X > I) = 0$ &nbsp; &#8658; &nbsp; $\underline{I = 5}$. <br>Damit ergibt sich für die Wahrscheinlichkeit, dass $X =I = 5$ ist:
+'''(1)'''&nbsp; Bei der Binomialverteilung sind alle Wahrscheinlichkeiten&nbsp; ${\rm Pr}(X > I) = 0$ &nbsp; &#8658; &nbsp; $\underline{I = 5}$.&nbsp; Damit ergibt sich für die Wahrscheinlichkeit, dass&nbsp; $X =I = 5$&nbsp; ist:
 :$${\rm Pr} (X = 5) = {5 \choose 5} \cdot p^{5} =  p^{5}  \approx 0.0003 \hspace{0.05cm}.$$
 Somit erhält man für
@@ Zeile 120: / Zeile 120: @@
 * den linearen Mittelwert (Erwartungswert): &nbsp; $m_X = I  \cdot p  \hspace{0.15cm} \underline {= 1}\hspace{0.05cm},$
 * die Varianz: &nbsp; $\sigma_X^2 = I  \cdot p \cdot (1-p)  \hspace{0.15cm} \underline {= 0.8}\hspace{0.05cm}.$
 '''(2)'''&nbsp; Richtig ist der <u>Lösungsvorschlag 2</u>:
-*Bei Verwendung von $D(P_Y \hspace{0.05cm}|| \hspace{0.05cm} P_X)$ würde sich unabhängig von $&lambda;$ stets ein unendlicher Wert ergeben, da für $\mu &#8805; 6$ gilt:
+*Bei Verwendung von&nbsp; $D(P_Y \hspace{0.05cm}|| \hspace{0.05cm} P_X)$&nbsp; würde sich unabhängig von&nbsp; $&lambda;$&nbsp; stets ein unendlicher Wert ergeben, da für&nbsp; $\mu &#8805; 6$&nbsp; gilt:
 :$$P_X (X = \mu) = 0 \hspace{0.05cm},\hspace{0.3cm}P_Y (Y = \mu) \ne 0 \hspace{0.05cm}.$$
-*Auch wenn die Wahrscheinlichkeiten $P_Y (Y = \mu)$ für große $&mu;$ sehr klein werden, sind sie doch &bdquo;unendlich viel größer&rdquo; als $P_X (X = \mu)$.
+*Auch wenn die Wahrscheinlichkeiten&nbsp; $P_Y (Y = \mu)$&nbsp; für große&nbsp; $&mu;$&nbsp; sehr klein werden, sind sie doch &bdquo;unendlich viel größer&rdquo; als&nbsp; $P_X (X = \mu)$.
 '''(3)'''&nbsp; Wir verwenden die erste Kullback&ndash;Leibler&ndash;Distanz:
 :$$D = D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y) =\hspace{0.2cm} \sum_{\mu = 0}^{5}  P_X(\mu) \cdot {\rm log}_2 \hspace{0.1cm} \frac{P_X(\mu)}{P_Y(\mu)} \hspace{0.05cm}.$$
-Bei Verwendung des Zehnerlogarithmus $(\lg)$ erhalten wir für die Poisson&ndash;Näherung mit &nbsp;$\lambda = 1$:
+*Bei Verwendung des Zehnerlogarithmus&nbsp; $(\lg)$&nbsp; erhalten wir für die Poisson&ndash;Näherung mit &nbsp;$\lambda = 1$:
 :$$D \hspace{0.05cm}' = 0.3277 \cdot {\rm lg} \hspace{0.1cm} \frac{0.3277}{0.3679} + A \hspace{0.05cm}' =
 -0.016468 + 0.021944 = 0.005476 \hspace{0.05cm}.$$
-Nach Umrechnung auf den Zweierlogarithmus $(\log_2)$  erhält man schließlich:
+*Nach Umrechnung auf den Zweierlogarithmus&nbsp; $(\log_2)$&nbsp;  erhält man schließlich:
-:$$D = D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y) = \frac{0.005476}{{\rm lg} \hspace{0.1cm}(2)} \hspace{0.15cm} \underline {\approx 0.0182\,{\rm (bit)}}\hspace{0.05cm}.$$
+:$$D = D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y) = \frac{0.005476}{{\rm lg} \hspace{0.1cm}(2)} \hspace{0.15cm} \underline {\approx 0.0182\ {\rm (bit)}}\hspace{0.05cm}.$$
-'''(4)'''&nbsp; Unter Verwendung des Zehnerlogarithmus lautet die Entropie der Poisson&ndash;Näherung $(\lambda = 1)$:
+'''(4)'''&nbsp; Unter Verwendung des Zehnerlogarithmus lautet die Entropie der Poisson&ndash;Näherung&nbsp; $(\lambda = 1)$:
 :$$H\hspace{0.05cm}'(Y) = -{\rm E} \left [{\rm lg} \hspace{0.1cm} {P_Y(Y)} \right ]
 = -2 \cdot 0.3679 \cdot {\rm lg} \hspace{0.1cm} (0.3679) - B\hspace{0.05cm}' = 0.31954 + 0.24717 = 0.56126.$$
-Die Umrechnung in &bdquo;bit&rdquo; liefert das gesuchte Ergebnis:
+*Die Umrechnung in &bdquo;bit&rdquo; liefert das gesuchte Ergebnis:
 :$$H(Y) = \frac{0.56126}{{\rm lg} \hspace{0.1cm}(2)}
-\hspace{0.15cm} \underline {= 1.864\,{\rm (bit)}} \hspace{0.05cm}.$$
+\hspace{0.15cm} \underline {= 1.864\ {\rm (bit)}} \hspace{0.05cm}.$$
 '''(5)'''&nbsp; Richtig ist die <u>Aussage 1</u>. Bei der numerischen Berechnung der Kullback&ndash;Leibler&ndash;Distanz ist
-* der Beitrag des $&mu;$&ndash;ten Terms positiv, falls $P_Y(\mu) > P_X(\mu)$,
+'''(5)'''&nbsp; Richtig ist die <u>Aussage 1</u>.&nbsp; Bei der numerischen Berechnung der Kullback&ndash;Leibler&ndash;Distanz ist
-* der Beitrag des $&mu;$&ndash;ten Terms negativ, falls $P_Y(\mu) < P_X(\mu)$.
+* der Beitrag des&nbsp; $&mu;$&ndash;ten Terms positiv, falls&nbsp; $P_Y(\mu) > P_X(\mu)$,
 [[Datei:P_ID2761__Inf_A_3_4_C.png|right|frame|Kullback–Leibler–Distanz und Entropie]]
 '''(6)'''&nbsp; Zutreffend ist der <u>Lösungsvorschlag 1</u>:
-*Auch aus der Grafik ist ersichtlich, dass $D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y) =0.0182$ bit von keinem anderen &nbsp;$&lambda;$&ndash;Wert als &nbsp;$&lambda; = 1$ unterschritten wird (grüne Kreuze).
+*Auch aus der Grafik ist ersichtlich, dass&nbsp; $D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y) =0.0182$&nbsp; bit&nbsp; von keinem anderen &nbsp;$&lambda;$&ndash;Wert als &nbsp;$&lambda; = 1$&nbsp; unterschritten wird (grüne Kreuze).
-*Weiter erkennt man aus dieser Darstellung, dass man mit &nbsp;$&lambda; = 0.9$ eine bessere Entropie&ndash;Approximation als mit &nbsp;$&lambda; = 1$ erreicht  (blaue Kreise):
+*Weiter erkennt man aus dieser Darstellung, dass man mit &nbsp;$&lambda; = 0.9$&nbsp; eine bessere Entropie&ndash;Approximation als mit &nbsp;$&lambda; = 1$&nbsp; erreicht  (blaue Kreise):
-:$$H(Y) = 1.795\,{\rm bit} \hspace{0.15cm}\approx \hspace{0.15cm} H(X) = 1.793\,{\rm bit}\hspace{0.05cm}.$$
+:$$H(Y) = 1.795\ {\rm bit} \hspace{0.15cm}\approx \hspace{0.15cm} H(X) = 1.793\ {\rm bit}\hspace{0.05cm}.$$
 :Der zweite Lösungsvorschlag ist also falsch.
-* Mit &nbsp;$&lambda; = 1$ stimmen die <u>linearen</u> Mittelwerte der beiden Zufallsgrößen  überein:
+* Mit &nbsp;$&lambda; = 1$&nbsp; stimmen die&nbsp; <u>linearen Mittelwerte</u>&nbsp; der beiden Zufallsgrößen  überein:
 :$$m_X = m_Y= 1.$$
-* Mit &nbsp;$&lambda; = 0.9$ stimmen die <u>quadratischen</u> Mittelwerte überein:
+* Mit &nbsp;$&lambda; = 0.9$ stimmen die&nbsp; <u>quadratischen Mittelwerte</u>&nbsp; überein:
 :$$m_X + \sigma_X^2 = m_Y + \sigma_Y^2= 1.8.$$
-Ob diese Aussage relevant ist, lasse ich dahingestellt. Denn:
+Ob diese Aussage relevant ist, lassen wir dahingestellt.&nbsp; Denn: &nbsp; Aufgrund der stetigen Zunahme von&nbsp; $H(Y)$&nbsp; mit zunehmendem&nbsp; $&lambda;$&nbsp; ist klar, dass für irgendeinen&nbsp; $&lambda;$&ndash;Wert tatsächlich&nbsp; $H(Y) = H(X)$&nbsp; gelten muss.
 {{ML-Fuß}}

@@ Zeile 70: / Zeile 70: @@
 <quiz display=simple>
-{Wie lauten die Kenngrößen der vorliegenden Binomialverteilung?<br><i>Hinweis:</i> Geben Sie (maximal) eine Nachkommastelle ein.
+{Wie lauten die Kenngrößen der vorliegenden Binomialverteilung?&nbsp; <i>Hinweis:</i> Geben Sie (maximal) eine Nachkommastelle ein.
 |type="{}"}
 $I \hspace{0.47cm}  = \ $ { 5 3% }
@@ Zeile 81: / Zeile 81: @@
 |type="[]"}
 - Keine der beiden Distanzen ist anwendbar.
-+ $D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y)$ ist besser geeignet.
++ $D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y)$&nbsp; ist besser geeignet.
-- $D(P_Y \hspace{0.05cm}|| \hspace{0.05cm} P_X)$ ist besser geeignet.
+- $D(P_Y \hspace{0.05cm}|| \hspace{0.05cm} P_X)$&nbsp; ist besser geeignet.
 - Beide Kullback&ndash;Leibler&ndash;Distanzen sind anwendbar.
-{Berechnen Sie die geeignete Kullback&ndash;Leibler&ndash;Distanz  (hier mit $D$ abgekürzt) für &nbsp;$\lambda = 1$. <br>Berücksichtigen Sie die Hilfsgröße &nbsp;$A\hspace{0.05cm}'$.
+{Berechnen Sie die geeignete Kullback&ndash;Leibler&ndash;Distanz&nbsp;  $($hier mit&nbsp; $D$&nbsp; abgekürzt$)$&nbsp; für &nbsp;$\lambda = 1$.&nbsp; Berücksichtigen Sie die Hilfsgröße &nbsp;$A\hspace{0.05cm}'$.
 |type="{}"}
 $D \ = \ $ { 0.0182 3% } $\ \rm bit$
-{Berechnen Sie die Entropie &nbsp;$H(Y)$ der Poisson&ndash;Näherung mit der Rate &nbsp;$\lambda = 1$.
+{Berechnen Sie die Entropie &nbsp;$H(Y)$&nbsp; der Poisson&ndash;Näherung mit der Rate &nbsp;$\lambda = 1$.&nbsp; Berücksichtigen Sie die Hilfsgröße &nbsp;$B\hspace{0.05cm}'$.
 |type="{}"}
 $H(Y) \ = \ $ { 1.864 3% } $\ \rm bit$
@@ Zeile 99: / Zeile 98: @@
 {Welche der folgenden Aussagen sind zutreffend?
 |type="[]"}
-+ Bei der &nbsp;$H(Y)$ &ndash;Berechnung haben alle Terme gleiches Vorzeichen.
++ Bei der &nbsp;$H(Y)$&ndash;Berechnung haben alle Terme gleiches Vorzeichen.
-- Bei der $D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y)$&ndash;Berechnung haben alle Terme gleiches Vorzeichen.
+- Bei der&nbsp; $D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y)$&ndash;Berechnung haben alle Terme gleiches Vorzeichen.
 {Wie interpretieren Sie die vervollständigte Ergebnistabelle?
 |type="[]"}
-+ Nach der Kullback&ndash;Leibler&ndash;Distanz sollte man &nbsp;$\lambda = 1$ wählen.
++ Nach der Kullback&ndash;Leibler&ndash;Distanz sollte man &nbsp;$\lambda = 1$&nbsp; wählen.
-- &nbsp;$\lambda = 1$ garantiert die beste Approximation &nbsp;$H(Y) &asymp; H(X)$.
+- $\lambda = 1$&nbsp; garantiert die beste Approximation &nbsp;$H(Y) &asymp; H(X)$.

@@ Zeile 4: / Zeile 4: @@
 [[Datei:P_ID2759__Inf_A_3_4_A.png|right|frame|Vorgegebene Wahrscheinlichkeiten]]
-Wir gehen hier von der [[Stochastische_Signaltheorie/Binomialverteilung|Binomialverteilung]] aus, die durch die Parameter &nbsp;$I$ und &nbsp;$p$ gekennzeichnet ist &nbsp; &#8658; &nbsp; siehe  Buch &bdquo;Stochastische Signaltheorie&rdquo;:
+Wir gehen hier von der&nbsp; [[Stochastische_Signaltheorie/Binomialverteilung|Binomialverteilung]]&nbsp; aus, die durch die Parameter &nbsp;$I$&nbsp; und &nbsp;$p$&nbsp; gekennzeichnet ist &nbsp; <br>&#8658; &nbsp; siehe  Buch &bdquo;Stochastische Signaltheorie&rdquo;:
 * Wertebereich:
-:$$X = \{\hspace{0.05cm}0\hspace{0.05cm}, \hspace{0.05cm} 1\hspace{0.05cm},\hspace{0.05cm}
+:$$X = \{\hspace{0.05cm}0\hspace{0.05cm}, \hspace{0.15cm} 1\hspace{0.05cm},\hspace{0.15cm}
-\hspace{0.05cm},\hspace{0.05cm}  \text{...}\hspace{0.1cm} ,\hspace{0.05cm} {\mu}\hspace{0.05cm}, \hspace{0.05cm}\text{...}\hspace{0.1cm} , \hspace{0.05cm} I\hspace{0.05cm}\}\hspace{0.05cm},$$
+\hspace{0.05cm},\hspace{0.15cm}  \text{...}\hspace{0.1cm} ,\hspace{0.15cm} {\mu}\hspace{0.05cm}, \hspace{0.05cm}\text{...}\hspace{0.1cm} , \hspace{0.15cm} I\hspace{0.05cm}\}\hspace{0.05cm},$$
 * Wahrscheinlichkeiten:
 :$$P_X (X = \mu) = {I \choose \mu} \cdot p^{\mu} \cdot (1-p)^{I-\mu} \hspace{0.05cm},$$
@@ Zeile 15: / Zeile 15: @@
 * Varianz:
 :$$\sigma_X^2 = I  \cdot p \cdot (1-p)\hspace{0.05cm}.$$
-Im rot hinterlegten Teil der Tabelle sind die Wahrscheinlichkeiten $P_X(X = \mu$) der betrachteten Binomialverteilung angegeben. In der Teilaufgabe '''(1)''' sollen Sie die dazugehörigen Verteilungsparameter &nbsp;$I$ und &nbsp;$p$ bestimmen.
+Im rot hinterlegten Teil der Tabelle sind die Wahrscheinlichkeiten&nbsp; $P_X(X = \mu$)&nbsp; der betrachteten Binomialverteilung angegeben.&nbsp; In der Teilaufgabe&nbsp; '''(1)'''&nbsp; sollen Sie die dazugehörigen Verteilungsparameter &nbsp;$I$&nbsp; und &nbsp;$p$&nbsp; bestimmen.
-Diese vorgegebene Binomialverteilung soll hier durch eine [[Stochastische_Signaltheorie/Poissonverteilung|Poissonverteilung]] &nbsp;$Y$ approximiert werden, gekennzeichnet durch die Rate &nbsp;$\lambda$:
+Diese vorgegebene Binomialverteilung soll hier durch eine&nbsp; [[Stochastische_Signaltheorie/Poissonverteilung|Poissonverteilung]]&nbsp; $Y$&nbsp; approximiert werden, gekennzeichnet durch die Rate &nbsp;$\lambda$:
 * Wertebereich:
-:$$Y = \{\hspace{0.05cm}0\hspace{0.05cm}, \hspace{0.05cm} 1\hspace{0.05cm},\hspace{0.05cm}
+:$$Y = \{\hspace{0.05cm}0\hspace{0.05cm}, \hspace{0.15cm} 1\hspace{0.05cm},\hspace{0.05cm}
-\hspace{0.05cm},\hspace{0.05cm}  \text{...}\hspace{0.1cm} ,\hspace{0.05cm} {\mu}\hspace{0.05cm}, \hspace{0.05cm}\text{...}\hspace{0.1cm}\}\hspace{0.05cm},$$
+\hspace{0.05cm},\hspace{0.15cm}  \text{...}\hspace{0.1cm} ,\hspace{0.15cm} {\mu}\hspace{0.05cm}, \hspace{0.05cm}\text{...}\hspace{0.1cm}\}\hspace{0.05cm},$$
 * Wahrscheinlichkeiten:
 :$$P_Y (Y = \mu) = \frac{\lambda^{\mu}}{\mu !} \cdot {\rm e}^{\lambda} \hspace{0.05cm},$$
@@ Zeile 28: / Zeile 28: @@
 :$$m_Y = \sigma_Y^2 = \lambda\hspace{0.05cm}.$$
-Um abschätzen zu können, ob die Wahrscheinlichkeitsfunktion $P_X(X)$ ausreichend gut durch $P_Y(Y)$ approximiert wird, kann man auf die so genannten <i>Kullback&ndash;Leibler&ndash;Distanzen</i> (KLD) zurückgreifen, teilweise in der Literatur auch  <i>relative Entropien</i> genannt. Angepasst an das vorliegende Beispiel lauten diese:
+Um abschätzen zu können, ob die Wahrscheinlichkeitsfunktion&nbsp; $P_X(X)$&nbsp; ausreichend gut durch&nbsp; $P_Y(Y)$&nbsp; approximiert wird, kann man auf die so genannten&nbsp; <i>Kullback&ndash;Leibler&ndash;Distanzen</i>&nbsp; ('''KLD''')&nbsp; zurückgreifen, in der Literatur teilweise  auch&nbsp;  &bdquo;relative Entropien&rdquo;&nbsp; genannt.
 :$$D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y) \hspace{0.15cm}  =  \hspace{0.15cm}  {\rm E} \left [ {\rm log}_2 \hspace{0.1cm} \frac{P_X(X)}{P_Y(X)}\right ] \hspace{0.2cm}=\hspace{0.2cm} \sum_{\mu = 0}^{I}  P_X(\mu) \cdot {\rm log}_2 \hspace{0.1cm} \frac{P_X(\mu)}{P_Y(\mu)} \hspace{0.05cm},$$
 :$$D(P_Y \hspace{0.05cm}|| \hspace{0.05cm} P_X) \hspace{0.15cm}  =  \hspace{0.15cm}  {\rm E} \left [ {\rm log}_2 \hspace{0.1cm} \frac{P_Y(X)}{P_X(X)}\right ] \hspace{0.2cm}=\hspace{0.2cm} \sum_{\mu = 0}^{\infty}  P_Y(\mu) \cdot {\rm log}_2 \hspace{0.1cm} \frac{P_Y(\mu)}{P_X(\mu)} \hspace{0.05cm}.$$
-Bei Verwendung des <i>Logarithmus dualis</i> (zur Basis 2) ist hierbei dem Zahlenwert die Pseudo&ndash;Einheit &bdquo;bit&rdquo; hinzuzufügen.
+Bei Verwendung von&nbsp; $\log_2$&nbsp; ist dem Zahlenwert die Pseudo&ndash;Einheit &bdquo;bit&rdquo; hinzuzufügen.
 ''Hinweise:''
 *Die Aufgabe gehört zum  Kapitel&nbsp; [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen|Einige Vorbemerkungen zu den 2D-Zufallsgrößen]].
 *Insbesondere wird Bezug genommen auf die Seite&nbsp; [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Relative_Entropie_.E2.80.93_Kullback.E2.80.93Leibler.E2.80.93Distanz|Relative Entropie &ndash; Kullback-Leibler-Distanz]].
-*Um die numerischen Berechnungen in Grenzen zu halten, werden folgende Hilfsgrößen vorgegeben;  hierbei bezeichnet $\rm \lg$ den Logarithmus zur Basis $10$:
+*Um die numerischen Berechnungen in Grenzen zu halten, werden folgende Hilfsgrößen vorgegeben;&nbsp;  hierbei bezeichnet&nbsp; $\rm \lg$&nbsp; den Logarithmus zur Basis&nbsp; $10$:
 :$$A' =
 .4096 \cdot {\rm lg} \hspace{0.1cm} \frac{0.4096}{0.3679} +