Wir gehen hier von der [[Stochastische_Signaltheorie/Binomialverteilung|Binomialverteilung]] aus, die durch die Parameter $I$ und $p$ gekennzeichnet ist <br>⇒ siehe Buch „Stochastische Signaltheorie”:
Wir gehen hier von der [[Stochastische_Signaltheorie/Binomialverteilung|Binomialverteilung]] aus, die durch die Parameter <math>I</math> und <math>p</math> gekennzeichnet ist <br>⇒ siehe Buch „Stochastische Signaltheorie”:
:<math display="block">m_X = I \cdot p \hspace{0.05cm},</math>
* Varianz:
* Varianz:
:$$\sigma_X^2 = I \cdot p \cdot (1-p)\hspace{0.05cm}.$$
:<math display="block">\sigma_X^2 = I \cdot p \cdot (1-p)\hspace{0.05cm}.</math>
Im rot hinterlegten Teil der Tabelle sind die Wahrscheinlichkeiten $P_X(X = \mu$) der betrachteten Binomialverteilung angegeben. In der Teilaufgabe '''(1)''' sollen Sie die dazugehörigen Verteilungsparameter $I$ und $p$ bestimmen.
Im rot hinterlegten Teil der Tabelle sind die Wahrscheinlichkeiten <math>P_X(X = \mu</math>) der betrachteten Binomialverteilung angegeben. In der Teilaufgabe '''(1)''' sollen Sie die dazugehörigen Verteilungsparameter <math>I</math> und <math>p</math> bestimmen.
Diese vorgegebene Binomialverteilung soll hier durch eine [[Stochastische_Signaltheorie/Poissonverteilung|Poissonverteilung]] $Y$ approximiert werden, gekennzeichnet durch die Rate $\lambda$:
Diese vorgegebene Binomialverteilung soll hier durch eine [[Stochastische_Signaltheorie/Poissonverteilung|Poissonverteilung]] <math>Y</math> approximiert werden, gekennzeichnet durch die Rate <math>\lambda</math>:
Um abschätzen zu können, ob die Wahrscheinlichkeitsfunktion $P_X(X)$ ausreichend gut durch $P_Y(Y)$ approximiert wird, kann man auf die so genannten <b>Kullback–Leibler–Distanzen</b> $\rm (KLD)$ zurückgreifen, in der Literatur teilweise auch „relative Entropien” genannt.
Um abschätzen zu können, ob die Wahrscheinlichkeitsfunktion <math>P_X(X)</math> ausreichend gut durch <math>P_Y(Y)</math> approximiert wird, kann man auf die so genannten <b>Kullback–Leibler–Distanzen</b> <math>\rm (KLD)</math> zurückgreifen, in der Literatur teilweise auch „relative Entropien” genannt.
Angepasst an das vorliegende Beispiel lauten diese:
Angepasst an das vorliegende Beispiel lauten diese:
Bei Verwendung von $\log_2$ ist dem Zahlenwert die Pseudo–Einheit „bit” hinzuzufügen.
Bei Verwendung von <math>\log_2</math> ist dem Zahlenwert die Pseudo–Einheit „bit” hinzuzufügen.
In nebenstehender Tabelle ist die Kullback–Leibler–Distanz $D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y)$ (in „bit”) zwischen der Binomial–PMF $P_X(\cdot)$ und einigen Poisson–Näherungen $P_Y(\cdot)$ $($mit fünf verschiedenen Raten $\lambda)$ eingetragen.
In nebenstehender Tabelle ist die Kullback–Leibler–Distanz <math>D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y)</math> (in „bit”) zwischen der Binomial–PMF <math>P_X(\cdot)</math> und einigen Poisson–Näherungen <math>P_Y(\cdot)</math> <math>(</math>mit fünf verschiedenen Raten <math>\lambda)</math> eingetragen.
*Die jeweilige Entropie $H(Y)$, die ebenfalls von der Rate $\lambda$ abhängt, ist in der ersten Zeile angegeben.
*Die jeweilige Entropie <math>H(Y)</math>, die ebenfalls von der Rate <math>\lambda</math> abhängt, ist in der ersten Zeile angegeben.
*Die Spalten für $\lambda = 1$ sind in den Teilaufgaben '''(3)''' und '''(4)''' zu ergänzen.
*Die Spalten für <math>\lambda = 1</math> sind in den Teilaufgaben '''(3)''' und '''(4)''' zu ergänzen.
*In der Teilaufgabe '''(6)''' sollen diese Ergebnisse interpretiert werden.
*In der Teilaufgabe '''(6)''' sollen diese Ergebnisse interpretiert werden.
Zeile 46:
Zeile 46:
*Die Aufgabe gehört zum Kapitel [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen|Einige Vorbemerkungen zu zweidimensionalen Zufallsgrößen]].
*Die Aufgabe gehört zum Kapitel [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen|Einige Vorbemerkungen zu zweidimensionalen Zufallsgrößen]].
*Insbesondere wird Bezug genommen auf die Seite [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Relative_Entropie_.E2.80.93_Kullback.E2.80.93Leibler.E2.80.93Distanz|Relative Entropie – Kullback-Leibler-Distanz]].
*Insbesondere wird Bezug genommen auf die Seite [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Relative_Entropie_.E2.80.93_Kullback.E2.80.93Leibler.E2.80.93Distanz|Relative Entropie – Kullback-Leibler-Distanz]].
*Um die numerischen Berechnungen in Grenzen zu halten, werden folgende Hilfsgrößen vorgegeben; hierbei bezeichnet $\rm \lg$ den Logarithmus zur Basis $10$:
*Um die numerischen Berechnungen in Grenzen zu halten, werden folgende Hilfsgrößen vorgegeben; hierbei bezeichnet <math>\rm \lg</math> den Logarithmus zur Basis <math>10</math>:
+ $D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y)$ ist besser geeignet.
+ <math>D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y)</math> ist besser geeignet.
- $D(P_Y \hspace{0.05cm}|| \hspace{0.05cm} P_X)$ ist besser geeignet.
- <math>D(P_Y \hspace{0.05cm}|| \hspace{0.05cm} P_X)</math> ist besser geeignet.
- Beide Kullback–Leibler–Distanzen sind anwendbar.
- Beide Kullback–Leibler–Distanzen sind anwendbar.
{Berechnen Sie die geeignete Kullback–Leibler–Distanz $($hier mit $D$ abgekürzt$)$ für $\lambda = 1$. Berücksichtigen Sie die Hilfsgröße $A\hspace{0.05cm}'$.
{Berechnen Sie die geeignete Kullback–Leibler–Distanz <math>(</math>hier mit <math>D</math> abgekürzt<math>)</math> für <math>\lambda = 1</math>. Berücksichtigen Sie die Hilfsgröße <math>A\hspace{0.05cm}'</math>.
{Berechnen Sie die Entropie $H(Y)$ der Poisson–Näherung mit der Rate $\lambda = 1$. Berücksichtigen Sie die Hilfsgröße $B\hspace{0.05cm}'$.
{Berechnen Sie die Entropie <math>H(Y)</math> der Poisson–Näherung mit der Rate <math>\lambda = 1</math>. Berücksichtigen Sie die Hilfsgröße <math>B\hspace{0.05cm}'</math>.
+ Bei der $H(Y)$–Berechnung haben alle Terme gleiches Vorzeichen.
+ Bei der <math>H(Y)</math>–Berechnung haben alle Terme gleiches Vorzeichen.
- Bei der $D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y)$–Berechnung haben alle Terme gleiches Vorzeichen.
- Bei der <math>D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y)</math>–Berechnung haben alle Terme gleiches Vorzeichen.
{Wie interpretieren Sie die vervollständigte Ergebnistabelle?
{Wie interpretieren Sie die vervollständigte Ergebnistabelle?
|type="[]"}
|type="[]"}
+ Nach der Kullback–Leibler–Distanz sollte man $\lambda = 1$ wählen.
+ Nach der Kullback–Leibler–Distanz sollte man <math>\lambda = 1</math> wählen.
- $\lambda = 1$ garantiert die beste Approximation $H(Y) ≈ H(X)$.
- <math>\lambda = 1</math> garantiert die beste Approximation <math>H(Y) ≈ H(X)</math>.
Zeile 98:
Zeile 98:
===Musterlösung===
===Musterlösung===
{{ML-Kopf}}
{{ML-Kopf}}
'''(1)''' Bei der Binomialverteilung sind alle Wahrscheinlichkeiten ${\rm Pr}(X > I) = 0$ ⇒ $\underline{I = 5}$. Damit ergibt sich für die Wahrscheinlichkeit, dass $X =I = 5$ ist:
'''(1)''' Bei der Binomialverteilung sind alle Wahrscheinlichkeiten <math>{\rm Pr}(X > I) = 0</math> ⇒ <math>\underline{I = 5}</math>. Damit ergibt sich für die Wahrscheinlichkeit, dass <math>X =I = 5</math> ist:
*Auch wenn die Wahrscheinlichkeiten $P_Y (Y = \mu)$ für große $μ$ sehr klein werden, sind sie doch „unendlich viel größer” als $P_X (X = \mu)$.
*Auch wenn die Wahrscheinlichkeiten <math>P_Y (Y = \mu)</math> für große <math>μ</math> sehr klein werden, sind sie doch „unendlich viel größer” als <math>P_X (X = \mu)</math>.
Zeile 118:
Zeile 118:
'''(3)''' Wir verwenden die erste Kullback–Leibler–Distanz:
'''(3)''' Wir verwenden die erste Kullback–Leibler–Distanz:
'''(6)''' Zutreffend ist der <u>Lösungsvorschlag 1</u>:
'''(6)''' Zutreffend ist der <u>Lösungsvorschlag 1</u>:
*Auch aus der Grafik ist ersichtlich, dass $D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y) =0.0182$ bit von keinem anderen $λ$–Wert als $λ = 1$ unterschritten wird (grüne Kreuze).
*Auch aus der Grafik ist ersichtlich, dass <math>D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y) =0.0182</math> bit von keinem anderen <math>λ</math>–Wert als <math>λ = 1</math> unterschritten wird (grüne Kreuze).
*Weiter erkennt man aus dieser Darstellung, dass man mit $λ = 0.9$ eine bessere Entropie–Approximation als mit $λ = 1$ erreicht (blaue Kreise):
*Weiter erkennt man aus dieser Darstellung, dass man mit <math>λ = 0.9</math> eine bessere Entropie–Approximation als mit <math>λ = 1</math> erreicht (blaue Kreise):
Ob diese Aussage relevant ist, lassen wir dahingestellt.
Ob diese Aussage relevant ist, lassen wir dahingestellt.
Denn: Aufgrund der stetigen Zunahme von $H(Y)$ mit zunehmendem $λ$ ist klar, dass für irgendeinen $λ$–Wert tatsächlich $H(Y) = H(X)$ gelten muss.
Denn: Aufgrund der stetigen Zunahme von <math>H(Y)</math> mit zunehmendem <math>λ</math> ist klar, dass für irgendeinen <math>λ</math>–Wert tatsächlich <math>H(Y) = H(X)</math> gelten muss.
Wir gehen hier von der Binomialverteilung aus, die durch die Parameter [math]\displaystyle{ I }[/math] und [math]\displaystyle{ p }[/math] gekennzeichnet ist ⇒ siehe Buch „Stochastische Signaltheorie”:
[math]\displaystyle{ m_X = I \cdot p \hspace{0.05cm}, }[/math]
Varianz:
[math]\displaystyle{ \sigma_X^2 = I \cdot p \cdot (1-p)\hspace{0.05cm}. }[/math]
Im rot hinterlegten Teil der Tabelle sind die Wahrscheinlichkeiten [math]\displaystyle{ P_X(X = \mu }[/math]) der betrachteten Binomialverteilung angegeben. In der Teilaufgabe (1) sollen Sie die dazugehörigen Verteilungsparameter [math]\displaystyle{ I }[/math] und [math]\displaystyle{ p }[/math] bestimmen.
Diese vorgegebene Binomialverteilung soll hier durch eine Poissonverteilung[math]\displaystyle{ Y }[/math] approximiert werden, gekennzeichnet durch die Rate [math]\displaystyle{ \lambda }[/math]:
Um abschätzen zu können, ob die Wahrscheinlichkeitsfunktion [math]\displaystyle{ P_X(X) }[/math] ausreichend gut durch [math]\displaystyle{ P_Y(Y) }[/math] approximiert wird, kann man auf die so genannten Kullback–Leibler–Distanzen[math]\displaystyle{ \rm (KLD) }[/math] zurückgreifen, in der Literatur teilweise auch „relative Entropien” genannt.
Angepasst an das vorliegende Beispiel lauten diese:
Bei Verwendung von [math]\displaystyle{ \log_2 }[/math] ist dem Zahlenwert die Pseudo–Einheit „bit” hinzuzufügen.
In nebenstehender Tabelle ist die Kullback–Leibler–Distanz [math]\displaystyle{ D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y) }[/math] (in „bit”) zwischen der Binomial–PMF [math]\displaystyle{ P_X(\cdot) }[/math] und einigen Poisson–Näherungen [math]\displaystyle{ P_Y(\cdot) }[/math][math]\displaystyle{ ( }[/math]mit fünf verschiedenen Raten [math]\displaystyle{ \lambda) }[/math] eingetragen.
Die jeweilige Entropie [math]\displaystyle{ H(Y) }[/math], die ebenfalls von der Rate [math]\displaystyle{ \lambda }[/math] abhängt, ist in der ersten Zeile angegeben.
Die Spalten für [math]\displaystyle{ \lambda = 1 }[/math] sind in den Teilaufgaben (3) und (4) zu ergänzen.
In der Teilaufgabe (6) sollen diese Ergebnisse interpretiert werden.
Um die numerischen Berechnungen in Grenzen zu halten, werden folgende Hilfsgrößen vorgegeben; hierbei bezeichnet [math]\displaystyle{ \rm \lg }[/math] den Logarithmus zur Basis [math]\displaystyle{ 10 }[/math]:
(1) Bei der Binomialverteilung sind alle Wahrscheinlichkeiten [math]\displaystyle{ {\rm Pr}(X > I) = 0 }[/math] ⇒ [math]\displaystyle{ \underline{I = 5} }[/math]. Damit ergibt sich für die Wahrscheinlichkeit, dass [math]\displaystyle{ X =I = 5 }[/math] ist:
den linearen Mittelwert (Erwartungswert): [math]\displaystyle{ m_X = I \cdot p \hspace{0.15cm} \underline {= 1}\hspace{0.05cm}, }[/math]
die Varianz: [math]\displaystyle{ \sigma_X^2 = I \cdot p \cdot (1-p) \hspace{0.15cm} \underline {= 0.8}\hspace{0.05cm}. }[/math]
(2) Richtig ist der Lösungsvorschlag 2:
Bei Verwendung von [math]\displaystyle{ D(P_Y \hspace{0.05cm}|| \hspace{0.05cm} P_X) }[/math] würde sich unabhängig von [math]\displaystyle{ λ }[/math] stets ein unendlicher Wert ergeben, da für [math]\displaystyle{ \mu ≥ 6 }[/math] gilt:
Auch wenn die Wahrscheinlichkeiten [math]\displaystyle{ P_Y (Y = \mu) }[/math] für große [math]\displaystyle{ μ }[/math] sehr klein werden, sind sie doch „unendlich viel größer” als [math]\displaystyle{ P_X (X = \mu) }[/math].
(3) Wir verwenden die erste Kullback–Leibler–Distanz:
Bei Verwendung des Zehnerlogarithmus [math]\displaystyle{ (\lg) }[/math] erhalten wir für die Poisson–Näherung mit [math]\displaystyle{ \lambda = 1 }[/math]:
(5) Richtig ist die Aussage 1. Bei der numerischen Berechnung der Kullback–Leibler–Distanz ist
der Beitrag des [math]\displaystyle{ μ }[/math]–ten Terms positiv, falls [math]\displaystyle{ P_Y(\mu) > P_X(\mu) }[/math],
der Beitrag des [math]\displaystyle{ μ }[/math]–ten Terms negativ, falls [math]\displaystyle{ P_Y(\mu) < P_X(\mu) }[/math].
Kullback–Leibler–Distanz und Entropie
(6) Zutreffend ist der Lösungsvorschlag 1:
Auch aus der Grafik ist ersichtlich, dass [math]\displaystyle{ D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y) =0.0182 }[/math] bit von keinem anderen [math]\displaystyle{ λ }[/math]–Wert als [math]\displaystyle{ λ = 1 }[/math] unterschritten wird (grüne Kreuze).
Weiter erkennt man aus dieser Darstellung, dass man mit [math]\displaystyle{ λ = 0.9 }[/math] eine bessere Entropie–Approximation als mit [math]\displaystyle{ λ = 1 }[/math] erreicht (blaue Kreise):
Ob diese Aussage relevant ist, lassen wir dahingestellt.
Denn: Aufgrund der stetigen Zunahme von [math]\displaystyle{ H(Y) }[/math] mit zunehmendem [math]\displaystyle{ λ }[/math] ist klar, dass für irgendeinen [math]\displaystyle{ λ }[/math]–Wert tatsächlich [math]\displaystyle{ H(Y) = H(X) }[/math] gelten muss.
