Aufgaben:Aufgabe 3.5Z: Nochmals Kullback-Leibler-Distanz - Versionsgeschichte

Guenter am 31. August 2021 um 12:57 Uhr

2021-08-31T12:57:39Z

Guenter am 31. August 2021 um 12:43 Uhr

2021-08-31T12:43:40Z

Guenter am 30. Januar 2020 um 17:03 Uhr

2020-01-30T17:03:32Z

Guenter am 30. Januar 2020 um 16:43 Uhr

2020-01-30T16:43:50Z

Guenter am 30. Januar 2020 um 16:03 Uhr

2020-01-30T16:03:58Z

Guenter am 9. Oktober 2018 um 10:23 Uhr

2018-10-09T10:23:38Z

Änderungen zeigen

Guenter am 9. Oktober 2018 um 10:01 Uhr

2018-10-09T10:01:04Z

Mwiki-lnt: Textersetzung - „*Sollte die Eingabe des Zahlenwertes „0” erforderlich sein, so geben Sie bitte „0.” ein.“ durch „ “

2018-05-29T12:02:53Z

Textersetzung - „*Sollte die Eingabe des Zahlenwertes „0” erforderlich sein, so geben Sie bitte „0.” ein.“ durch „ “

Guenter: Guenter verschob die Seite Aufgaben:3.5Z Nochmals Kullback-Leibler-Distanz nach Aufgaben:Aufgabe 3.5Z: Nochmals Kullback-Leibler-Distanz

2018-01-03T14:04:34Z

Guenter verschob die Seite 3.5Z Nochmals Kullback-Leibler-Distanz nach Aufgabe 3.5Z: Nochmals Kullback-Leibler-Distanz

Guenter am 5. Juni 2017 um 10:56 Uhr

2017-06-05T10:56:20Z

@@ Zeile 99: / Zeile 99: @@
-'''(2)'''&nbsp; Die Wahrscheinlichkeiten für die empirisch ermittelten Zufallsgrößen&nbsp; $Y$&nbsp; weichen im Allgemeinen&nbsp; (nicht immer!)&nbsp; von der Gleichverteilung um so mehr ab, je kleiner der Parameter&nbsp; $N$&nbsp; ist.&nbsp;
+'''(2)'''&nbsp; Die Wahrscheinlichkeiten für die empirisch ermittelten Zufallsgrößen&nbsp; $Y$&nbsp; weichen im Allgemeinen&nbsp; (nicht immer!)&nbsp; von der Gleichverteilung um so mehr ab, je kleiner der Parameter&nbsp; $N$&nbsp; ist.&nbsp; Man erhält für die dokumentierten Versuchsreihen:
 * $N = 1000 \ \ \Rightarrow \ \ P_Y(Y) =  \big [0.225, \ 0.253, \ 0.250, \ 0.272 \big ]$:
 :$$H(Y) =
@@ Zeile 126: / Zeile 124: @@
 \right ] \hspace{0.05cm}.$$
-Der Logarithmus zur Basis&nbsp; $ 2$&nbsp; &rArr;  &nbsp; $\log_2(.)$ wurde zur einfachen Nutzung des Taschenrechners durch den Zehnerlogarithmus &nbsp; &rArr;  &nbsp; $\lg(.)$  ersetzt.
+Der Logarithmus zur Basis&nbsp; $ 2$&nbsp; &rArr;  &nbsp; $\log_2(.)$&nbsp; wurde zur einfachen Nutzung des Taschenrechners durch den Zehnerlogarithmus &nbsp; &rArr;  &nbsp; $\lg(.)$  ersetzt.
 Man erhält die folgenden numerischen Ergebnisse:
@@ Zeile 183: / Zeile 181: @@
 * Die Entropie&nbsp; $H(Y)$&nbsp; ist für&nbsp; $N = 1000$&nbsp; kleiner als für&nbsp; $N = 400$.
 * Die Distanz&nbsp; $D(P_X\hspace{0.05cm}|| \hspace{0.05cm}P_Y)$&nbsp; ist für&nbsp; $N = 1000$&nbsp; größer als für&nbsp; $N = 400$.
-*Der Grund hierfür ist, dass das hier dokumentierte empirische Experiment mit&nbsp; $N = 400$&nbsp; eher zu einer Gleichverteilung geführt hat als das Experiment mit&nbsp; $N = 1000$.
+*Der Grund hierfür ist, dass das hier dokumentierte Experiment mit&nbsp; $N = 400$&nbsp; eher zu einer Gleichverteilung geführt hat als das Experiment mit&nbsp; $N = 1000$.
-*Würde man dagegen sehr (unendlich) viele Versuche mit&nbsp; $N = 400$&nbsp; und&nbsp; $N = 1000$&nbsp; starten und über all diese mitteln, ergäbe sich tatsächlich der eigentlich erwartete monotone Verlauf.
+*Würde man dagegen unendlich viele Versuche mit&nbsp; $N = 400$&nbsp; und&nbsp; $N = 1000$&nbsp; starten und über all diese mitteln, ergäbe sich tatsächlich der eigentlich erwartete monotone Verlauf.
 {{ML-Fuß}}

@@ Zeile 20: / Zeile 20: @@
 :$$P_Y(X) = \big [\hspace{0.05cm}0.225\hspace{0.15cm}, \hspace{0.05cm} 0.253\hspace{0.05cm},\hspace{0.15cm} 0.250 \hspace{0.05cm}, \hspace{0.15cm} 0.272\hspace{0.05cm}\big]
 \hspace{0.05cm}.$$
-Bei dieser Schreibweise ist bereits berücksichtigt, dass die Zufallsgrößen&nbsp; $X$&nbsp; und&nbsp; $Y$&nbsp; auf dem gleichen Alphabet&nbsp; $X = \{1,\ 2,\ 3,\ 4\}$ basieren.
+Bei dieser Schreibweise ist berücksichtigt, dass die Zufallsgrößen&nbsp; $X$&nbsp; und&nbsp; $Y$&nbsp; auf dem gleichen Alphabet&nbsp; $X = \{1,\ 2,\ 3,\ 4\}$ basieren.
-Mit diesen Voraussetzungen gilt für die&nbsp; ''relative Entropie''&nbsp; (englisch:&nbsp; ''Informational Divergence'') zwischen den beiden Wahrscheinlichkeitsfunktionen&nbsp;  $P_X(.)$&nbsp; und&nbsp; $P_Y(.)$ :
+Mit diesen Voraussetzungen gilt für die&nbsp; '''relative Entropie'''&nbsp; (englisch:&nbsp; "Informational Divergence")&nbsp; zwischen den beiden Wahrscheinlichkeitsfunktionen&nbsp;  $P_X(.)$&nbsp; und&nbsp; $P_Y(.)$ :
 :$$D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y) =  {\rm E}_X \hspace{-0.1cm}\left [ {\rm log}_2 \hspace{0.1cm} \frac{P_X(X)}{P_Y(X)}\right ] \hspace{0.2cm}=\hspace{0.2cm} \sum_{\mu = 1}^{M}  P_X(\mu) \cdot {\rm log}_2 \hspace{0.1cm} \frac{P_X(\mu)}{P_Y(\mu)} \hspace{0.05cm}.$$
@@ Zeile 40: / Zeile 40: @@
 Hinweise:
+*Die Aufgabe gehört zum  Kapitel&nbsp; [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen|Einige Vorbemerkungen zu zweidimensionalen Zufallsgrößen]].
 *Insbesondere wird Bezug genommen auf die Seite&nbsp; [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Relative_Entropie_.E2.80.93_Kullback.E2.80.93Leibler.E2.80.93Distanz|Relative Entropie &ndash; Kullback-Leibler-Distanz]].
 *Die Angaben der Entropie&nbsp;  $H(Y)$&nbsp; und der Kullback–Leibler–Distanz&nbsp;  $D( P_X \hspace{0.05cm}|| \hspace{0.05cm}P_Y)$&nbsp;  in obiger Grafik sind in „bit” zu verstehen.

@@ Zeile 95: / Zeile 95: @@
 {{ML-Kopf}}
-'''(1)'''&nbsp; Bei gleichen Wahrscheinlichkeiten gilt mit $M = 4$:
+'''(1)'''&nbsp; Bei gleichen Wahrscheinlichkeiten gilt mit&nbsp; $M = 4$:
 :$$H(X) = {\rm log}_2 \hspace{0.1cm} M
 \hspace{0.15cm} \underline {= 2\,{\rm (bit)}}  \hspace{0.05cm}.$$
 '''(2)'''&nbsp; Die Wahrscheinlichkeiten für die empirisch ermittelten Zufallsgrößen $Y$ weichen im Allgemeinen (nicht immer!) von der Gleichverteilung um so mehr ab, je kleiner der Parameter $N$ ist. Man erhält für
 * $N = 1000 \ \ \Rightarrow \ \ P_Y(Y) =  \big [0.225, \ 0.253, \ 0.250, \ 0.272 \big ]$:
 :$$H(Y) =
@@ Zeile 107: / Zeile 110: @@
 .250 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.250} +
 .272 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.272}
-\hspace{0.15cm} \underline {= 1.9968\,{\rm (bit)}}  \hspace{0.05cm},$$
+\hspace{0.15cm} \underline {= 1.9968\ {\rm (bit)}}  \hspace{0.05cm},$$
-* $N = 100 \ \ \Rightarrow \ \  P_Y(Y) = \big[0.24, \ 0.16, \ 0.30,  ß 0.30\big]$:
+* $N = 100 \ \ \Rightarrow \ \  P_Y(Y) = \big[0.24, \ 0.16, \ 0.30,  \ 0.30\big]$:
-:$$H(Y) = \hspace{0.05cm}\text{...} \hspace{0.15cm} \underline {= 1.9410\,{\rm (bit)}}  \hspace{0.05cm},$$
+:$$H(Y) = \hspace{0.05cm}\text{...} \hspace{0.15cm} \underline {= 1.9410\ {\rm (bit)}}  \hspace{0.05cm},$$
 * $N = 10 \ \ \Rightarrow \ \  P_Y(Y) =  \big[0.5, \ 0.1, \ 0.3, \ 0.1 \big]$:
-:$$H(Y) = \hspace{0.05cm}\text{...} \hspace{0.15cm} \underline {= 1.6855\,{\rm (bit)}}  \hspace{0.05cm}.$$
+:$$H(Y) = \hspace{0.05cm}\text{...} \hspace{0.15cm} \underline {= 1.6855\ {\rm (bit)}}  \hspace{0.05cm}.$$
@@ Zeile 124: / Zeile 128: @@
 \right ] \hspace{0.05cm}.$$
-Der Logarithmus zur Basis 2 &nbsp; &rArr;  &nbsp; $\log_2(.)$ wurde zur einfachen Nutzung des Taschenrechners durch den Zehnerlogarithmus &nbsp; &rArr;  &nbsp; $\lg(.)$  ersetzt. Man erhält die folgenden numerischen Ergebnisse:
+Der Logarithmus zur Basis&nbsp; $ 2$&nbsp; &rArr;  &nbsp; $\log_2(.)$ wurde zur einfachen Nutzung des Taschenrechners durch den Zehnerlogarithmus &nbsp; &rArr;  &nbsp; $\lg(.)$  ersetzt.
 * für $N=1000$:
 :$$D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y) = \frac{1}{4 \cdot {\rm lg} \hspace{0.1cm}(2)} \cdot
@@ Zeile 139: / Zeile 145: @@
-*In der Teilaufgabe '''(3)''' haben wir stattdessen $D(P_X\hspace{0.05cm}|| \hspace{0.05cm} P_Y) = 0.0442$ erhalten.
+'''(4)'''&nbsp; Richtig ist&nbsp; <u>'''Nein'''</u>, wie am Beispiel&nbsp; $N = 100$&nbsp; gezeigt werden soll:
 *Das bedeutet auch: &nbsp; Die Bezeichnung „Distanz” ist etwas irreführend.
-*Danach würde man eigentlich $D(P_Y\hspace{0.05cm}|| \hspace{0.05cm} P_X)$ = $D(P_X\hspace{0.05cm}|| \hspace{0.05cm} P_Y)$ erwarten.
+*Danach würde man eigentlich&nbsp; $D(P_Y\hspace{0.05cm}|| \hspace{0.05cm} P_X)$ = $D(P_X\hspace{0.05cm}|| \hspace{0.05cm} P_Y)$&nbsp; erwarten.
 '''(5)'''&nbsp; Mit $P_Y(X) = \big [0, \ 0.25, \ 0.5, \ 0.25 \big ]$ erhält man:
 :$$D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y) = 0.25\cdot {\rm log}_2 \hspace{0.1cm} \frac{0.25}{0} + 2 \cdot 0.25\cdot {\rm log}_2 \hspace{0.1cm} \frac{0.25}{0.25}+0.25\cdot {\rm log}_2 \hspace{0.1cm} \frac{0.25}{0.50}\hspace{0.05cm}.$$
-*Aufgrund des ersten Terms ergibt sich für $D(P_X\hspace{0.05cm}|| \hspace{0.05cm}P_Y)$ ein unendlich großer Wert.
+*Aufgrund des ersten Terms ergibt sich für&nbsp; $D(P_X\hspace{0.05cm}|| \hspace{0.05cm}P_Y)$&nbsp; ein unendlich großer Wert.
 *Für die zweite Kullback–Leibler–Distanz gilt:
 :$$D(P_Y \hspace{0.05cm}|| \hspace{0.05cm} P_X) = 0\cdot {\rm log}_2 \hspace{0.1cm} \frac{0}{0.25} + 2 \cdot 0.25\cdot {\rm log}_2 \hspace{0.1cm} \frac{0.25}{0.25}+
@@ Zeile 156: / Zeile 166: @@
 	\hspace{0.05cm}.$$
-[[Datei:P_ID2763__Inf_Z_3_4e.png|right|frame|Wahrscheinlichkeitsfunktion, Entropie und Kullback–Leibler–Distanz]]
+*Nach einer Grenzwertbetrachtung erkennt man, dass der erste Term das Ergebnis&nbsp; $0$&nbsp; liefert.&nbsp; Auch der zweite Term ergibt sich zu Null, und man erhält als Endergebnis:
 :$$D(P_Y \hspace{0.05cm}|| \hspace{0.05cm} P_X) = 0.50\cdot {\rm log}_2 \hspace{0.1cm} (2) \hspace{0.15cm} \underline {= 0.5\,{\rm (bit)}} 	\hspace{0.05cm}.$$
-Richtig sind somit die <u>Aussagen 3 und 5</u>:
+Richtig sind somit die&nbsp; <u>Aussagen 3 und 5</u>:
-*Aus diesem Extrembeispiel wird deutlich, dass sich $D(P_Y\hspace{0.05cm}|| \hspace{0.05cm} P_X)$ stets von $D(P_X\hspace{0.05cm}|| \hspace{0.05cm} P_Y)$ unterscheidet.
+*Aus diesem Extrembeispiel wird deutlich, dass sich&nbsp; $D(P_Y\hspace{0.05cm}|| \hspace{0.05cm} P_X)$&nbsp; stets von&nbsp; $D(P_X\hspace{0.05cm}|| \hspace{0.05cm} P_Y)$&nbsp; unterscheidet.
-*Nur für den Sonderfall $P_Y = P_X$ sind beide Kullback–Leibler–Distanzen gleich, nämlich Null.
+*Nur für den Sonderfall&nbsp; $P_Y \equiv P_X$&nbsp; sind beide Kullback–Leibler–Distanzen gleich, nämlich Null.
 *Die nebenstehende Tabelle zeigt das vollständige Ergebnis dieser Aufgabe.
 '''(6)'''&nbsp; Richtig ist wiederum <u>'''Nein'''</u>. Die Tendenz ist zwar eindeutig: &nbsp; Je größer $N$ ist,
-* desto mehr nähert sich $H(Y)$ im Prinzip dem Endwert $H(X) = 2 \ \rm bit$ an.
+'''(6)'''&nbsp; Richtig ist wiederum&nbsp; <u>'''Nein'''</u>.&nbsp; Die Tendenz ist zwar eindeutig: &nbsp; Je größer&nbsp; $N$&nbsp; ist,
-* um so kleiner werden die Distanzen $D(P_X\hspace{0.05cm}|| \hspace{0.05cm} P_Y)$ und $D(P_Y\hspace{0.05cm}|| \hspace{0.05cm} P_X)$.
+* desto mehr nähert sich&nbsp; $H(Y)$&nbsp; im Prinzip dem Endwert&nbsp; $H(X) = 2 \ \rm bit$&nbsp; an.
 Man erkennt aus der Tabelle aber auch, dass es Ausnahmen gibt:
-* Die Entropie $H(Y)$ ist für $N = 1000$ kleiner als für $N = 400$.
+* Die Entropie&nbsp; $H(Y)$&nbsp; ist für&nbsp; $N = 1000$&nbsp; kleiner als für&nbsp; $N = 400$.
-* Die Distanz $D(P_X\hspace{0.05cm}|| \hspace{0.05cm}P_Y)$ ist für $N = 1000$ größer als für $N = 400$.
+* Die Distanz&nbsp; $D(P_X\hspace{0.05cm}|| \hspace{0.05cm}P_Y)$&nbsp; ist für&nbsp; $N = 1000$&nbsp; größer als für&nbsp; $N = 400$.
+*Der Grund hierfür ist, dass das hier dokumentierte empirische Experiment mit&nbsp; $N = 400$&nbsp; eher zu einer Gleichverteilung geführt hat als das Experiment mit&nbsp; $N = 1000$.
+*Würde man dagegen sehr (unendlich) viele Versuche mit&nbsp; $N = 400$&nbsp; und&nbsp; $N = 1000$&nbsp; starten und über all diese mitteln, ergäbe sich tatsächlich der eigentlich erwartete monotone Verlauf.
 {{ML-Fuß}}

@@ Zeile 22: / Zeile 22: @@
 Bei dieser Schreibweise ist bereits berücksichtigt, dass die Zufallsgrößen&nbsp; $X$&nbsp; und&nbsp; $Y$&nbsp; auf dem gleichen Alphabet&nbsp; $X = \{1,\ 2,\ 3,\ 4\}$ basieren.
-Mit diesen Voraussetzungen gilt für die ''relative Entropie'' (englisch: ''Informational Divergence'') zwischen den beiden Wahrscheinlichkeitsfunktionen  $P_X(.)$ und $P_Y(.)$ :
+Mit diesen Voraussetzungen gilt für die&nbsp; ''relative Entropie''&nbsp; (englisch:&nbsp; ''Informational Divergence'') zwischen den beiden Wahrscheinlichkeitsfunktionen&nbsp;  $P_X(.)$&nbsp; und&nbsp; $P_Y(.)$ :
 :$$D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y) =  {\rm E}_X \hspace{-0.1cm}\left [ {\rm log}_2 \hspace{0.1cm} \frac{P_X(X)}{P_Y(X)}\right ] \hspace{0.2cm}=\hspace{0.2cm} \sum_{\mu = 1}^{M}  P_X(\mu) \cdot {\rm log}_2 \hspace{0.1cm} \frac{P_X(\mu)}{P_Y(\mu)} \hspace{0.05cm}.$$
-Man bezeichnet  $D( P_X\hspace{0.05cm} || \hspace{0.05cm}P_Y)$  als (erste) Kullback–Leibler–Distanz.
+Man bezeichnet&nbsp;  $D( P_X\hspace{0.05cm} || \hspace{0.05cm}P_Y)$&nbsp;  als (erste) Kullback–Leibler–Distanz.
-*Diese ist ein Maß für die Ähnlichkeit zwischen den beiden Wahrscheinlichkeitsfunktionen $P_X(.)$ und $P_Y(.)$.
+*Diese ist ein Maß für die Ähnlichkeit zwischen den zwei Wahrscheinlichkeitsfunktionen&nbsp; $P_X(.)$&nbsp; und&nbsp; $P_Y(.)$.
-*Die Erwartungswertbildung geschieht hier hinsichtlich der (tatsächlich gleichverteilten) Zufallsgröße $X$.  Dies wird durch die Nomenklatur  ${\rm E}_X\big[.\big]$ angedeutet.
+*Die Erwartungswertbildung geschieht hier hinsichtlich der (tatsächlich gleichverteilten) Zufallsgröße&nbsp; $X$.&nbsp; Dies wird durch die Nomenklatur&nbsp;  ${\rm E}_X\big[.\big]$&nbsp; angedeutet.
-Eine zweite Form der Kullback–Leibler–Distanz ergibt sich durch die Erwartungswertbildung  hinsichtlich der Zufallsgröße $Y$ &nbsp; &rArr; &nbsp;  ${\rm E}_Y\big [.\big ]$:
+Eine zweite Form der Kullback–Leibler–Distanz ergibt sich durch die Erwartungswertbildung  hinsichtlich der Zufallsgröße&nbsp; $Y$ &nbsp; &rArr; &nbsp;  ${\rm E}_Y\big [.\big ]$:
 :$$D(P_Y \hspace{0.05cm}|| \hspace{0.05cm} P_X) =  {\rm E}_Y \hspace{-0.1cm} \left [ {\rm log}_2 \hspace{0.1cm} \frac{P_Y(X)}{P_X(X)}\right ] \hspace{0.2cm}=\hspace{0.2cm} \sum_{\mu = 1}^M  P_Y(\mu) \cdot {\rm log}_2 \hspace{0.1cm} \frac{P_Y(\mu)}{P_X(\mu)} \hspace{0.05cm}.$$
-<br clear=all>
 ''Hinweise:''
 *Die Aufgabe gehört zum  Kapitel&nbsp; [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen|Einige Vorbemerkungen zu den 2D-Zufallsgrößen]].
 *Insbesondere wird Bezug genommen auf die Seite&nbsp; [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Relative_Entropie_.E2.80.93_Kullback.E2.80.93Leibler.E2.80.93Distanz|Relative Entropie &ndash; Kullback-Leibler-Distanz]].
-*Die Angaben der Entropie  $H(Y)$ und der Kullback–Leibler–Distanz  $D( P_X \hspace{0.05cm}|| \hspace{0.05cm}P_Y)$  in obiger Grafik sind in „bit” zu verstehen.
+*Die Angaben der Entropie&nbsp;  $H(Y)$&nbsp; und der Kullback–Leibler–Distanz&nbsp;  $D( P_X \hspace{0.05cm}|| \hspace{0.05cm}P_Y)$&nbsp;  in obiger Grafik sind in „bit” zu verstehen.
-* Die in der Grafik  mit „???"  versehenen Felder sollen von Ihnen in dieser Aufgabe ergänzt werden.
+* Die in der Grafik  mit&nbsp; „???"&nbsp;  versehenen Felder sollen von Ihnen in dieser Aufgabe ergänzt werden.
@@ Zeile 47: / Zeile 54: @@
 <quiz display=simple>
-{Welche Entropie besitzt die Zufallsgröße $X$ ?
+{Welche Entropie besitzt die Zufallsgröße&nbsp; $X$ ?
 |type="{}"}
 $H(X)\ = \ $ { 2 1% } $\ \rm bit$
-{Wie groß sind die Entropien der Zufallsgrößen $Y$ (Näherungen für $X$)?
+{Wie groß sind die Entropien der Zufallsgrößen&nbsp; $Y$&nbsp; $($Näherungen für&nbsp; $X)$?
 |type="{}"}
 $N=10^3\text{:} \hspace{0.5cm} H(Y) \ = \ $ { 1.9968 1% } $\ \rm bit$
@@ Zeile 63: / Zeile 70: @@
 $N=10^1\text{:} \hspace{0.5cm} D( P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y)  \ = \ $  { 0.345 1% } $\ \rm bit$
-{Liefert $D(P_Y\hspace{0.05cm}|| \hspace{0.05cm} P_X)$ jeweils exakt das gleiche Ergebnis?
+{Liefert&nbsp; $D(P_Y\hspace{0.05cm}|| \hspace{0.05cm} P_X)$&nbsp; jeweils exakt das gleiche Ergebnis?
 |type="()"}
 - Ja.
 + Nein.
-{Welche Aussagen gelten für die Kullback–Leibler–Distanzen bei $N = 4$?
+{Welche Aussagen gelten für die Kullback–Leibler–Distanzen bei&nbsp; $N = 4$?
 |type="[]"}
-- Es gilt $D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y) = 0$.
+- Es gilt&nbsp; $D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y) = 0$.
-- Es gilt $D(P_X\hspace{0.05cm}|| \hspace{0.05cm} P_Y) = 0.5 \ \rm  bit$.
+- Es gilt&nbsp; $D(P_X\hspace{0.05cm}|| \hspace{0.05cm} P_Y) = 0.5 \ \rm  bit$.
-+ $D(P_X\hspace{0.05cm}|| \hspace{0.05cm} P_Y)$ ist unendlich groß.
++ $D(P_X\hspace{0.05cm}|| \hspace{0.05cm} P_Y)$&nbsp; ist unendlich groß.
--  Es gilt $D(P_Y\hspace{0.05cm}|| \hspace{0.05cm} P_X) = 0$.
+-  Es gilt&nbsp; $D(P_Y\hspace{0.05cm}|| \hspace{0.05cm} P_X) = 0$.
-+ Es gilt $D(P_Y\hspace{0.05cm}|| \hspace{0.05cm} P_X) = 0.5 \ \rm bit$.
++ Es gilt&nbsp; $D(P_Y\hspace{0.05cm}|| \hspace{0.05cm} P_X) = 0.5 \ \rm bit$.
--  $D(P_Y\hspace{0.05cm}|| \hspace{0.05cm} P_X)$ ist unendlich groß.
+-  $D(P_Y\hspace{0.05cm}|| \hspace{0.05cm} P_X)$&nbsp; ist unendlich groß.
-{Ändern sich sowohl $H(Y)$ als auch  $D(P_X\hspace{0.05cm}|| \hspace{0.05cm} P_Y)$ monoton mit $N$?
+{Ändern sich sowohl&nbsp; $H(Y)$&nbsp; als auch&nbsp;  $D(P_X\hspace{0.05cm}|| \hspace{0.05cm} P_Y)$&nbsp; monoton mit&nbsp; $N$?
 |type="()"}
 - Ja,

@@ Zeile 5: / Zeile 5: @@
 [[Datei:P_ID2762__Inf_Z_3_4.png|right|frame|Ermittelte Wahrscheinlichkeitsfunktionen]]
 Die Wahrscheinlichkeitsfunktion lautet:
-:$$P_X(X) = \big[\hspace{0.03cm}0.25\hspace{0.03cm}, \hspace{0.03cm} 0.25\hspace{0.03cm},\hspace{0.03cm} 0.25 \hspace{0.03cm}, \hspace{0.03cm} 0.25\hspace{0.03cm}\big]\hspace{0.05cm}.$$
+:$$P_X(X) = \big[\hspace{0.03cm}0.25\hspace{0.03cm}, \hspace{0.15cm} 0.25\hspace{0.15cm},\hspace{0.15cm} 0.25 \hspace{0.03cm}, \hspace{0.15cm} 0.25\hspace{0.03cm}\big]\hspace{0.05cm}.$$
-Die Zufallsgröße $X$ ist also gekennzeichnet durch
+Die Zufallsgröße&nbsp; $X$&nbsp; ist also gekennzeichnet durch
-* den Symbolumfang $M=4$,
+* den Symbolumfang&nbsp; $M=4$,
 * gleiche Wahrscheinlichkeiten $P_X(1) = P_X(2) = P_X(3) = P_X(4) = 1/4$ .
-Die Zufallsgröße $Y$ ist stets eine Näherung für $X$:
+Die Zufallsgröße&nbsp; $Y$&nbsp; ist stets eine Näherung für&nbsp; $X$:
-*Sie wurde per Simulation aus einer Gleichverteilung gewonnen, wobei jeweils nur $N$ Zufallswerte ausgewertet wurden.
+*Sie wurde per Simulation aus einer Gleichverteilung gewonnen, wobei jeweils nur&nbsp; $N$&nbsp; Zufallszahlen ausgewertet wurden.
-*Das heißt: &nbsp; $P_Y(1)$, ... , $P_Y(4)$ sind im herkömmlichen Sinn keine Wahrscheinlichkeiten. Sie beschreiben vielmehr [[Stochastische_Signaltheorie/Wahrscheinlichkeit_und_relative_H%C3%A4ufigkeit#Bernoullisches_Gesetz_der_gro.C3.9Fen_Zahlen| relative Häufigkeiten]].
+*Das heißt: &nbsp; $P_Y(1)$, ... , $P_Y(4)$&nbsp; sind im herkömmlichen Sinn keine Wahrscheinlichkeiten.&nbsp; Sie beschreiben vielmehr&nbsp; [[Stochastische_Signaltheorie/Wahrscheinlichkeit_und_relative_H%C3%A4ufigkeit#Bernoullisches_Gesetz_der_gro.C3.9Fen_Zahlen| relative Häufigkeiten]].
-Das Ergebnis der sechsten Versuchsreihe (mit  $N=1000$) wird demnach durch die folgende Wahrscheinlichkeitsfunktion zusammengefasst:
+Das Ergebnis der sechsten Versuchsreihe&nbsp; (mit&nbsp;  $N=1000)$&nbsp; wird demnach durch die folgende Wahrscheinlichkeitsfunktion zusammengefasst:
-:$$P_Y(X) = \big [\hspace{0.05cm}0.225\hspace{0.05cm}, \hspace{0.05cm} 0.253\hspace{0.05cm},\hspace{0.05cm} 0.250 \hspace{0.05cm}, \hspace{0.05cm} 0.272\hspace{0.05cm}\big]
+:$$P_Y(X) = \big [\hspace{0.05cm}0.225\hspace{0.15cm}, \hspace{0.05cm} 0.253\hspace{0.05cm},\hspace{0.15cm} 0.250 \hspace{0.05cm}, \hspace{0.15cm} 0.272\hspace{0.05cm}\big]
 \hspace{0.05cm}.$$
-Bei dieser Schreibweise ist bereits berücksichtigt, dass die Zufallsgrößen $X$ und $Y$ auf dem gleichen Alphabet $X = \{1, 2, 3, 4\}$ basieren.
+Bei dieser Schreibweise ist bereits berücksichtigt, dass die Zufallsgrößen&nbsp; $X$&nbsp; und&nbsp; $Y$&nbsp; auf dem gleichen Alphabet&nbsp; $X = \{1,\ 2,\ 3,\ 4\}$ basieren.
 Mit diesen Voraussetzungen gilt für die ''relative Entropie'' (englisch: ''Informational Divergence'') zwischen den beiden Wahrscheinlichkeitsfunktionen  $P_X(.)$ und $P_Y(.)$ :

← Nächstältere Version	Version vom 3. Januar 2018, 14:04 Uhr
(kein Unterschied)

← Nächstältere Version		Version vom 5. Juni 2017, 10:56 Uhr
Zeile 171:		Zeile 171:


−	[[Category:Aufgaben zu Informationstheorie\|^3.1 ~~Vorbemerkungen~~ zu 2D-Zufallsgrößen^]]	+	[[Category:Aufgaben zu Informationstheorie\|^3.1 Allgemeines zu 2D-Zufallsgrößen^]]