Aufgabe 3.5: Kullback-Leibler-Distanz & Binominalverteilung/LaTeXML-Test
Wir gehen hier von der Binomialverteilung aus, die durch die Parameter [math]\displaystyle{ I }[/math] und [math]\displaystyle{ p }[/math] gekennzeichnet ist
⇒ siehe Buch „Stochastische Signaltheorie”:
- Wertebereich:
- [math]\displaystyle{ X = \{\hspace{0.05cm}0\hspace{0.05cm}, \hspace{0.15cm} 1\hspace{0.05cm},\hspace{0.15cm} 2\hspace{0.05cm},\hspace{0.15cm} \text{...}\hspace{0.1cm} ,\hspace{0.15cm} {\mu}\hspace{0.05cm}, \hspace{0.05cm}\text{...}\hspace{0.1cm} , \hspace{0.15cm} I\hspace{0.05cm}\}\hspace{0.05cm}, }[/math]
- Wahrscheinlichkeiten:
- [math]\displaystyle{ P_X (X = \mu) = {I \choose \mu} \cdot p^{\mu} \cdot (1-p)^{I-\mu} \hspace{0.05cm}, }[/math]
- linearer Mittelwert:
- [math]\displaystyle{ m_X = I \cdot p \hspace{0.05cm}, }[/math]
- Varianz:
- [math]\displaystyle{ \sigma_X^2 = I \cdot p \cdot (1-p)\hspace{0.05cm}. }[/math]
Im rot hinterlegten Teil der Tabelle sind die Wahrscheinlichkeiten [math]\displaystyle{ P_X(X = \mu }[/math]) der betrachteten Binomialverteilung angegeben. In der Teilaufgabe (1) sollen Sie die dazugehörigen Verteilungsparameter [math]\displaystyle{ I }[/math] und [math]\displaystyle{ p }[/math] bestimmen.
Diese vorgegebene Binomialverteilung soll hier durch eine Poissonverteilung [math]\displaystyle{ Y }[/math] approximiert werden, gekennzeichnet durch die Rate [math]\displaystyle{ \lambda }[/math]:
- Wertebereich:
- [math]\displaystyle{ Y = \{\hspace{0.05cm}0\hspace{0.05cm}, \hspace{0.15cm} 1\hspace{0.05cm},\hspace{0.05cm} 2\hspace{0.05cm},\hspace{0.15cm} \text{...}\hspace{0.1cm} ,\hspace{0.15cm} {\mu}\hspace{0.05cm}, \hspace{0.05cm}\text{...}\hspace{0.1cm}\}\hspace{0.05cm}, }[/math]
- Wahrscheinlichkeiten:
- [math]\displaystyle{ P_Y (Y = \mu) = \frac{\lambda^{\mu}}{\mu !} \cdot {\rm e}^{-\lambda} \hspace{0.05cm}, }[/math]
- Erwartungswerte:
- [math]\displaystyle{ m_Y = \sigma_Y^2 = \lambda\hspace{0.05cm}. }[/math]
Um abschätzen zu können, ob die Wahrscheinlichkeitsfunktion [math]\displaystyle{ P_X(X) }[/math] ausreichend gut durch [math]\displaystyle{ P_Y(Y) }[/math] approximiert wird, kann man auf die so genannten Kullback–Leibler–Distanzen [math]\displaystyle{ \rm (KLD) }[/math] zurückgreifen, in der Literatur teilweise auch „relative Entropien” genannt.
Angepasst an das vorliegende Beispiel lauten diese:
- [math]\displaystyle{ D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y) \hspace{0.15cm} = \hspace{0.15cm} {\rm E} \left [ {\rm log}_2 \hspace{0.1cm} \frac{P_X(X)}{P_Y(X)}\right ] \hspace{0.2cm}=\hspace{0.2cm} \sum_{\mu = 0}^{I} P_X(\mu) \cdot {\rm log}_2 \hspace{0.1cm} \frac{P_X(\mu)}{P_Y(\mu)} \hspace{0.05cm}, }[/math]
- [math]\displaystyle{ D(P_Y \hspace{0.05cm}|| \hspace{0.05cm} P_X) \hspace{0.15cm} = \hspace{0.15cm} {\rm E} \left [ {\rm log}_2 \hspace{0.1cm} \frac{P_Y(X)}{P_X(X)}\right ] \hspace{0.2cm}=\hspace{0.2cm} \sum_{\mu = 0}^{\infty} P_Y(\mu) \cdot {\rm log}_2 \hspace{0.1cm} \frac{P_Y(\mu)}{P_X(\mu)} \hspace{0.05cm}. }[/math]
Bei Verwendung von [math]\displaystyle{ \log_2 }[/math] ist dem Zahlenwert die Pseudo–Einheit „bit” hinzuzufügen.
In nebenstehender Tabelle ist die Kullback–Leibler–Distanz [math]\displaystyle{ D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y) }[/math] (in „bit”) zwischen der Binomial–PMF [math]\displaystyle{ P_X(\cdot) }[/math] und einigen Poisson–Näherungen [math]\displaystyle{ P_Y(\cdot) }[/math] [math]\displaystyle{ ( }[/math]mit fünf verschiedenen Raten [math]\displaystyle{ \lambda) }[/math] eingetragen.
- Die jeweilige Entropie [math]\displaystyle{ H(Y) }[/math], die ebenfalls von der Rate [math]\displaystyle{ \lambda }[/math] abhängt, ist in der ersten Zeile angegeben.
- Die Spalten für [math]\displaystyle{ \lambda = 1 }[/math] sind in den Teilaufgaben (3) und (4) zu ergänzen.
- In der Teilaufgabe (6) sollen diese Ergebnisse interpretiert werden.
Hinweise:
- Die Aufgabe gehört zum Kapitel Einige Vorbemerkungen zu zweidimensionalen Zufallsgrößen.
- Insbesondere wird Bezug genommen auf die Seite Relative Entropie – Kullback-Leibler-Distanz.
- Um die numerischen Berechnungen in Grenzen zu halten, werden folgende Hilfsgrößen vorgegeben; hierbei bezeichnet [math]\displaystyle{ \rm \lg }[/math] den Logarithmus zur Basis [math]\displaystyle{ 10 }[/math]:
- [math]\displaystyle{ A\hspace{0.05cm}' = 0.4096 \cdot {\rm lg} \hspace{0.1cm} \frac{0.4096}{0.3679} + 0.2048 \cdot {\rm lg} \hspace{0.1cm} \frac{0.2048}{0.1839} + 0.0512 \cdot {\rm lg} \hspace{0.1cm} \frac{0.0512}{0.0613} + 0.0064 \cdot {\rm lg} \hspace{0.1cm} \frac{0.0064}{0.0153} + 0.0003 \cdot {\rm lg} \hspace{0.1cm} \frac{0.0003}{0.0031} \hspace{0.05cm}, }[/math]
- [math]\displaystyle{ B\hspace{0.05cm}' = 0.1839 \cdot {\rm lg} \hspace{0.1cm} (0.1839) + 0.0613 \cdot {\rm lg} \hspace{0.1cm} (0.0613) + 0.0153 \cdot {\rm lg} \hspace{0.1cm} (0.0153) + 0.0031 \cdot {\rm lg} \hspace{0.1cm} (0.0031) + 0.0005 \cdot {\rm lg} \hspace{0.1cm} (0.0005) + 0.0001 \cdot {\rm lg} \hspace{0.1cm} (0.0001) }[/math]
- [math]\displaystyle{ \Rightarrow \hspace{0.3cm} A\hspace{0.05cm}' \hspace{0.15cm} \underline {= 0.021944} \hspace{0.05cm},\hspace{0.5cm} B\hspace{0.05cm}' \hspace{0.15cm} \underline {= -0.24717} \hspace{0.05cm}. }[/math]
Fragebogen
Musterlösung
- [math]\displaystyle{ {\rm Pr} (X = 5) = {5 \choose 5} \cdot p^{5} = p^{5} \approx 0.0003 \hspace{0.05cm}. }[/math]
Somit erhält man für
- die charakteristische Wahrscheinlichkeit: [math]\displaystyle{ p= (0.0003)^{1/5} = 0.1974 \hspace{0.15cm} \underline {\approx 0.2}\hspace{0.05cm}, }[/math]
- den linearen Mittelwert (Erwartungswert): [math]\displaystyle{ m_X = I \cdot p \hspace{0.15cm} \underline {= 1}\hspace{0.05cm}, }[/math]
- die Varianz: [math]\displaystyle{ \sigma_X^2 = I \cdot p \cdot (1-p) \hspace{0.15cm} \underline {= 0.8}\hspace{0.05cm}. }[/math]
(2) Richtig ist der Lösungsvorschlag 2:
- Bei Verwendung von [math]\displaystyle{ D(P_Y \hspace{0.05cm}|| \hspace{0.05cm} P_X) }[/math] würde sich unabhängig von [math]\displaystyle{ λ }[/math] stets ein unendlicher Wert ergeben, da für [math]\displaystyle{ \mu ≥ 6 }[/math] gilt:
- [math]\displaystyle{ P_X (X = \mu) = 0 \hspace{0.05cm},\hspace{0.3cm}P_Y (Y = \mu) \ne 0 \hspace{0.05cm}. }[/math]
- Auch wenn die Wahrscheinlichkeiten [math]\displaystyle{ P_Y (Y = \mu) }[/math] für große [math]\displaystyle{ μ }[/math] sehr klein werden, sind sie doch „unendlich viel größer” als [math]\displaystyle{ P_X (X = \mu) }[/math].
(3) Wir verwenden die erste Kullback–Leibler–Distanz:
- [math]\displaystyle{ D = D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y) =\hspace{0.2cm} \sum_{\mu = 0}^{5} P_X(\mu) \cdot {\rm log}_2 \hspace{0.1cm} \frac{P_X(\mu)}{P_Y(\mu)} \hspace{0.05cm}. }[/math]
- Bei Verwendung des Zehnerlogarithmus [math]\displaystyle{ (\lg) }[/math] erhalten wir für die Poisson–Näherung mit [math]\displaystyle{ \lambda = 1 }[/math]:
- [math]\displaystyle{ D \hspace{0.05cm}' = 0.3277 \cdot {\rm lg} \hspace{0.1cm} \frac{0.3277}{0.3679} + A \hspace{0.05cm}' = -0.016468 + 0.021944 = 0.005476 \hspace{0.05cm}. }[/math]
- Nach Umrechnung auf den Zweierlogarithmus [math]\displaystyle{ (\log_2) }[/math] erhält man schließlich:
- [math]\displaystyle{ D = D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y) = \frac{0.005476}{{\rm lg} \hspace{0.1cm}(2)} \hspace{0.15cm} \underline {\approx 0.0182\ {\rm (bit)}}\hspace{0.05cm}. }[/math]
(4) Unter Verwendung des Zehnerlogarithmus lautet die Entropie der Poisson–Näherung [math]\displaystyle{ (\lambda = 1) }[/math]:
- [math]\displaystyle{ H\hspace{0.05cm}'(Y) = -{\rm E} \left [{\rm lg} \hspace{0.1cm} {P_Y(Y)} \right ] = -2 \cdot 0.3679 \cdot {\rm lg} \hspace{0.1cm} (0.3679) - B\hspace{0.05cm}' = 0.31954 + 0.24717 = 0.56126. }[/math]
- Die Umrechnung in „bit” liefert das gesuchte Ergebnis:
- [math]\displaystyle{ H(Y) = \frac{0.56126}{{\rm lg} \hspace{0.1cm}(2)} \hspace{0.15cm} \underline {= 1.864\ {\rm (bit)}} \hspace{0.05cm}. }[/math]
(5) Richtig ist die Aussage 1. Bei der numerischen Berechnung der Kullback–Leibler–Distanz ist
- der Beitrag des [math]\displaystyle{ μ }[/math]–ten Terms positiv, falls [math]\displaystyle{ P_Y(\mu) > P_X(\mu) }[/math],
- der Beitrag des [math]\displaystyle{ μ }[/math]–ten Terms negativ, falls [math]\displaystyle{ P_Y(\mu) < P_X(\mu) }[/math].
(6) Zutreffend ist der Lösungsvorschlag 1:
- Auch aus der Grafik ist ersichtlich, dass [math]\displaystyle{ D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y) =0.0182 }[/math] bit von keinem anderen [math]\displaystyle{ λ }[/math]–Wert als [math]\displaystyle{ λ = 1 }[/math] unterschritten wird (grüne Kreuze).
- Weiter erkennt man aus dieser Darstellung, dass man mit [math]\displaystyle{ λ = 0.9 }[/math] eine bessere Entropie–Approximation als mit [math]\displaystyle{ λ = 1 }[/math] erreicht (blaue Kreise):
- [math]\displaystyle{ H(Y) = 1.795\ {\rm bit} \hspace{0.15cm}\approx \hspace{0.15cm} H(X) = 1.793\ {\rm bit}\hspace{0.05cm}. }[/math]
- Der zweite Lösungsvorschlag ist also falsch.
- Mit [math]\displaystyle{ λ = 1 }[/math] stimmen die linearen Mittelwerte der beiden Zufallsgrößen überein:
- [math]\displaystyle{ m_X = m_Y= 1. }[/math]
- Mit [math]\displaystyle{ λ = 0.9 }[/math] stimmen die quadratischen Mittelwerte überein:
- [math]\displaystyle{ m_X + \sigma_X^2 = m_Y + \sigma_Y^2= 1.8. }[/math]
Ob diese Aussage relevant ist, lassen wir dahingestellt.
Denn: Aufgrund der stetigen Zunahme von [math]\displaystyle{ H(Y) }[/math] mit zunehmendem [math]\displaystyle{ λ }[/math] ist klar, dass für irgendeinen [math]\displaystyle{ λ }[/math]–Wert tatsächlich [math]\displaystyle{ H(Y) = H(X) }[/math] gelten muss.
