Wir gehen hier von der [[Stochastische_Signaltheorie/Binomialverteilung|Binomialverteilung]] aus, die durch die Parameter <math>I</math> und <math>p</math> gekennzeichnet ist <br>⇒ siehe Buch „Stochastische Signaltheorie”:
Wir gehen hier von der [[Stochastische_Signaltheorie/Binomialverteilung|Binomialverteilung]] aus, die durch die Parameter $I$ und $p$ gekennzeichnet ist <br>⇒ siehe Buch „Stochastische Signaltheorie”:
:<math display="block">m_X = I \cdot p \hspace{0.05cm},</math>
:$$m_X = I \cdot p \hspace{0.05cm},$$
* Varianz:
* Varianz:
:<math display="block">\sigma_X^2 = I \cdot p \cdot (1-p)\hspace{0.05cm}.</math>
:$$\sigma_X^2 = I \cdot p \cdot (1-p)\hspace{0.05cm}.$$
Im rot hinterlegten Teil der Tabelle sind die Wahrscheinlichkeiten <math>P_X(X = \mu</math>) der betrachteten Binomialverteilung angegeben. In der Teilaufgabe '''(1)''' sollen Sie die dazugehörigen Verteilungsparameter <math>I</math> und <math>p</math> bestimmen.
Im rot hinterlegten Teil der Tabelle sind die Wahrscheinlichkeiten $P_X(X = \mu$) der betrachteten Binomialverteilung angegeben. In der Teilaufgabe '''(1)''' sollen Sie die dazugehörigen Verteilungsparameter $I$ und $p$ bestimmen.
Diese vorgegebene Binomialverteilung soll hier durch eine [[Stochastische_Signaltheorie/Poissonverteilung|Poissonverteilung]] <math>Y</math> approximiert werden, gekennzeichnet durch die Rate <math>\lambda</math>:
Diese vorgegebene Binomialverteilung soll hier durch eine [[Stochastische_Signaltheorie/Poissonverteilung|Poissonverteilung]] $Y$ approximiert werden, gekennzeichnet durch die Rate $\lambda$:
Um abschätzen zu können, ob die Wahrscheinlichkeitsfunktion <math>P_X(X)</math> ausreichend gut durch <math>P_Y(Y)</math> approximiert wird, kann man auf die so genannten <b>Kullback–Leibler–Distanzen</b> <math>\rm (KLD)</math> zurückgreifen, in der Literatur teilweise auch „relative Entropien” genannt.
Um abschätzen zu können, ob die Wahrscheinlichkeitsfunktion $P_X(X)$ ausreichend gut durch $P_Y(Y)$ approximiert wird, kann man auf die so genannten <b>Kullback–Leibler–Distanzen</b> $\rm (KLD)$ zurückgreifen, in der Literatur teilweise auch „relative Entropien” genannt.
Angepasst an das vorliegende Beispiel lauten diese:
Angepasst an das vorliegende Beispiel lauten diese:
Bei Verwendung von <math>\log_2</math> ist dem Zahlenwert die Pseudo–Einheit „bit” hinzuzufügen.
Bei Verwendung von $\log_2$ ist dem Zahlenwert die Pseudo–Einheit „bit” hinzuzufügen.
In nebenstehender Tabelle ist die Kullback–Leibler–Distanz <math>D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y)</math> (in „bit”) zwischen der Binomial–PMF <math>P_X(\cdot)</math> und einigen Poisson–Näherungen <math>P_Y(\cdot)</math> <math>(</math>mit fünf verschiedenen Raten <math>\lambda)</math> eingetragen.
In nebenstehender Tabelle ist die Kullback–Leibler–Distanz $D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y)$ (in „bit”) zwischen der Binomial–PMF $P_X(\cdot)$ und einigen Poisson–Näherungen $P_Y(\cdot)$ $($mit fünf verschiedenen Raten $\lambda)$ eingetragen.
*Die jeweilige Entropie <math>H(Y)</math>, die ebenfalls von der Rate <math>\lambda</math> abhängt, ist in der ersten Zeile angegeben.
*Die jeweilige Entropie $H(Y)$, die ebenfalls von der Rate $\lambda$ abhängt, ist in der ersten Zeile angegeben.
*Die Spalten für <math>\lambda = 1</math> sind in den Teilaufgaben '''(3)''' und '''(4)''' zu ergänzen.
*Die Spalten für $\lambda = 1$ sind in den Teilaufgaben '''(3)''' und '''(4)''' zu ergänzen.
*In der Teilaufgabe '''(6)''' sollen diese Ergebnisse interpretiert werden.
*In der Teilaufgabe '''(6)''' sollen diese Ergebnisse interpretiert werden.
Zeile 46:
Zeile 46:
*Die Aufgabe gehört zum Kapitel [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen|Einige Vorbemerkungen zu zweidimensionalen Zufallsgrößen]].
*Die Aufgabe gehört zum Kapitel [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen|Einige Vorbemerkungen zu zweidimensionalen Zufallsgrößen]].
*Insbesondere wird Bezug genommen auf die Seite [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Relative_Entropie_.E2.80.93_Kullback.E2.80.93Leibler.E2.80.93Distanz|Relative Entropie – Kullback-Leibler-Distanz]].
*Insbesondere wird Bezug genommen auf die Seite [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Relative_Entropie_.E2.80.93_Kullback.E2.80.93Leibler.E2.80.93Distanz|Relative Entropie – Kullback-Leibler-Distanz]].
*Um die numerischen Berechnungen in Grenzen zu halten, werden folgende Hilfsgrößen vorgegeben; hierbei bezeichnet <math>\rm \lg</math> den Logarithmus zur Basis <math>10</math>:
*Um die numerischen Berechnungen in Grenzen zu halten, werden folgende Hilfsgrößen vorgegeben; hierbei bezeichnet $\rm \lg$ den Logarithmus zur Basis $10$:
+ <math>D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y)</math> ist besser geeignet.
+ $D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y)$ ist besser geeignet.
- <math>D(P_Y \hspace{0.05cm}|| \hspace{0.05cm} P_X)</math> ist besser geeignet.
- $D(P_Y \hspace{0.05cm}|| \hspace{0.05cm} P_X)$ ist besser geeignet.
- Beide Kullback–Leibler–Distanzen sind anwendbar.
- Beide Kullback–Leibler–Distanzen sind anwendbar.
{Berechnen Sie die geeignete Kullback–Leibler–Distanz <math>(</math>hier mit <math>D</math> abgekürzt<math>)</math> für <math>\lambda = 1</math>. Berücksichtigen Sie die Hilfsgröße <math>A\hspace{0.05cm}'</math>.
{Berechnen Sie die geeignete Kullback–Leibler–Distanz $($hier mit $D$ abgekürzt$)$ für $\lambda = 1$. Berücksichtigen Sie die Hilfsgröße $A\hspace{0.05cm}'$.
{Berechnen Sie die Entropie <math>H(Y)</math> der Poisson–Näherung mit der Rate <math>\lambda = 1</math>. Berücksichtigen Sie die Hilfsgröße <math>B\hspace{0.05cm}'</math>.
{Berechnen Sie die Entropie $H(Y)$ der Poisson–Näherung mit der Rate $\lambda = 1$. Berücksichtigen Sie die Hilfsgröße $B\hspace{0.05cm}'$.
+ Bei der <math>H(Y)</math>–Berechnung haben alle Terme gleiches Vorzeichen.
+ Bei der $H(Y)$–Berechnung haben alle Terme gleiches Vorzeichen.
- Bei der <math>D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y)</math>–Berechnung haben alle Terme gleiches Vorzeichen.
- Bei der $D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y)$–Berechnung haben alle Terme gleiches Vorzeichen.
{Wie interpretieren Sie die vervollständigte Ergebnistabelle?
{Wie interpretieren Sie die vervollständigte Ergebnistabelle?
|type="[]"}
|type="[]"}
+ Nach der Kullback–Leibler–Distanz sollte man <math>\lambda = 1</math> wählen.
+ Nach der Kullback–Leibler–Distanz sollte man $\lambda = 1$ wählen.
- <math>\lambda = 1</math> garantiert die beste Approximation <math>H(Y) ≈ H(X)</math>.
- $\lambda = 1$ garantiert die beste Approximation $H(Y) ≈ H(X)$.
Zeile 98:
Zeile 98:
===Musterlösung===
===Musterlösung===
{{ML-Kopf}}
{{ML-Kopf}}
'''(1)''' Bei der Binomialverteilung sind alle Wahrscheinlichkeiten <math>{\rm Pr}(X > I) = 0</math> ⇒ <math>\underline{I = 5}</math>. Damit ergibt sich für die Wahrscheinlichkeit, dass <math>X =I = 5</math> ist:
'''(1)''' Bei der Binomialverteilung sind alle Wahrscheinlichkeiten ${\rm Pr}(X > I) = 0$ ⇒ $\underline{I = 5}$. Damit ergibt sich für die Wahrscheinlichkeit, dass $X =I = 5$ ist:
*Auch wenn die Wahrscheinlichkeiten <math>P_Y (Y = \mu)</math> für große <math>μ</math> sehr klein werden, sind sie doch „unendlich viel größer” als <math>P_X (X = \mu)</math>.
*Auch wenn die Wahrscheinlichkeiten $P_Y (Y = \mu)$ für große $μ$ sehr klein werden, sind sie doch „unendlich viel größer” als $P_X (X = \mu)$.
Zeile 118:
Zeile 118:
'''(3)''' Wir verwenden die erste Kullback–Leibler–Distanz:
'''(3)''' Wir verwenden die erste Kullback–Leibler–Distanz:
'''(6)''' Zutreffend ist der <u>Lösungsvorschlag 1</u>:
'''(6)''' Zutreffend ist der <u>Lösungsvorschlag 1</u>:
*Auch aus der Grafik ist ersichtlich, dass <math>D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y) =0.0182</math> bit von keinem anderen <math>λ</math>–Wert als <math>λ = 1</math> unterschritten wird (grüne Kreuze).
*Auch aus der Grafik ist ersichtlich, dass $D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y) =0.0182$ bit von keinem anderen $λ$–Wert als $λ = 1$ unterschritten wird (grüne Kreuze).
*Weiter erkennt man aus dieser Darstellung, dass man mit <math>λ = 0.9</math> eine bessere Entropie–Approximation als mit <math>λ = 1</math> erreicht (blaue Kreise):
*Weiter erkennt man aus dieser Darstellung, dass man mit $λ = 0.9$ eine bessere Entropie–Approximation als mit $λ = 1$ erreicht (blaue Kreise):
Ob diese Aussage relevant ist, lassen wir dahingestellt.
Ob diese Aussage relevant ist, lassen wir dahingestellt.
Denn: Aufgrund der stetigen Zunahme von <math>H(Y)</math> mit zunehmendem <math>λ</math> ist klar, dass für irgendeinen <math>λ</math>–Wert tatsächlich <math>H(Y) = H(X)</math> gelten muss.
Denn: Aufgrund der stetigen Zunahme von $H(Y)$ mit zunehmendem $λ$ ist klar, dass für irgendeinen $λ$–Wert tatsächlich $H(Y) = H(X)$ gelten muss.
{{ML-Fuß}}
{{ML-Fuß}}
Zeile 160:
Zeile 160:
[[Category:Aufgaben zu Informationstheorie|^3.1 Allgemeines zu 2D-Zufallsgrößen^]]
[[Category:Aufgaben zu Informationstheorie|^3.1 Allgemeines zu 2D-Zufallsgrößen^]]
$$\sigma_X^2 = I \cdot p \cdot (1-p)\hspace{0.05cm}.$$
Im rot hinterlegten Teil der Tabelle sind die Wahrscheinlichkeiten $P_X(X = \mu$) der betrachteten Binomialverteilung angegeben. In der Teilaufgabe (1) sollen Sie die dazugehörigen Verteilungsparameter $I$ und $p$ bestimmen.
Diese vorgegebene Binomialverteilung soll hier durch eine Poissonverteilung $Y$ approximiert werden, gekennzeichnet durch die Rate $\lambda$:
Um abschätzen zu können, ob die Wahrscheinlichkeitsfunktion $P_X(X)$ ausreichend gut durch $P_Y(Y)$ approximiert wird, kann man auf die so genannten Kullback–Leibler–Distanzen $\rm (KLD)$ zurückgreifen, in der Literatur teilweise auch „relative Entropien” genannt.
Angepasst an das vorliegende Beispiel lauten diese:
Bei Verwendung von $\log_2$ ist dem Zahlenwert die Pseudo–Einheit „bit” hinzuzufügen.
In nebenstehender Tabelle ist die Kullback–Leibler–Distanz $D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y)$ (in „bit”) zwischen der Binomial–PMF $P_X(\cdot)$ und einigen Poisson–Näherungen $P_Y(\cdot)$ $($mit fünf verschiedenen Raten $\lambda)$ eingetragen.
Die jeweilige Entropie $H(Y)$, die ebenfalls von der Rate $\lambda$ abhängt, ist in der ersten Zeile angegeben.
Die Spalten für $\lambda = 1$ sind in den Teilaufgaben (3) und (4) zu ergänzen.
In der Teilaufgabe (6) sollen diese Ergebnisse interpretiert werden.
Um die numerischen Berechnungen in Grenzen zu halten, werden folgende Hilfsgrößen vorgegeben; hierbei bezeichnet $\rm \lg$ den Logarithmus zur Basis $10$:
(1) Bei der Binomialverteilung sind alle Wahrscheinlichkeiten ${\rm Pr}(X > I) = 0$ ⇒ $\underline{I = 5}$. Damit ergibt sich für die Wahrscheinlichkeit, dass $X =I = 5$ ist:
den linearen Mittelwert (Erwartungswert): $m_X = I \cdot p \hspace{0.15cm} \underline {= 1}\hspace{0.05cm},$
die Varianz: $\sigma_X^2 = I \cdot p \cdot (1-p) \hspace{0.15cm} \underline {= 0.8}\hspace{0.05cm}.$
(2) Richtig ist der Lösungsvorschlag 2:
Bei Verwendung von $D(P_Y \hspace{0.05cm}|| \hspace{0.05cm} P_X)$ würde sich unabhängig von $λ$ stets ein unendlicher Wert ergeben, da für $\mu ≥ 6$ gilt:
(5) Richtig ist die Aussage 1. Bei der numerischen Berechnung der Kullback–Leibler–Distanz ist
der Beitrag des $μ$–ten Terms positiv, falls $P_Y(\mu) > P_X(\mu)$,
der Beitrag des $μ$–ten Terms negativ, falls $P_Y(\mu) < P_X(\mu)$.
Kullback–Leibler–Distanz und Entropie
(6) Zutreffend ist der Lösungsvorschlag 1:
Auch aus der Grafik ist ersichtlich, dass $D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y) =0.0182$ bit von keinem anderen $λ$–Wert als $λ = 1$ unterschritten wird (grüne Kreuze).
Weiter erkennt man aus dieser Darstellung, dass man mit $λ = 0.9$ eine bessere Entropie–Approximation als mit $λ = 1$ erreicht (blaue Kreise):
