Aufgaben:Aufgabe 3.6: Partitionierungsungleichung - Versionsgeschichte

Guenter am 31. August 2021 um 15:20 Uhr

2021-08-31T15:20:05Z

Guenter am 31. August 2021 um 14:58 Uhr

2021-08-31T14:58:06Z

Guenter am 31. August 2021 um 14:43 Uhr

2021-08-31T14:43:19Z

Guenter am 31. August 2021 um 13:40 Uhr

2021-08-31T13:40:55Z

Guenter am 31. August 2021 um 13:37 Uhr

2021-08-31T13:37:01Z

Guenter am 31. Januar 2020 um 09:49 Uhr

2020-01-31T09:49:23Z

Guenter am 31. Januar 2020 um 09:42 Uhr

2020-01-31T09:42:42Z

Guenter am 30. Januar 2020 um 17:17 Uhr

2020-01-30T17:17:11Z

Guenter am 9. Oktober 2018 um 13:02 Uhr

2018-10-09T13:02:14Z

Guenter am 9. Oktober 2018 um 12:55 Uhr

2018-10-09T12:55:34Z

@@ Zeile 85: / Zeile 85: @@
 {{ML-Kopf}}
-'''(1)'''&nbsp;  Für die Kullback–Leibler–Distanz der nicht partitinierten Mengen&nbsp; $X$&nbsp; und&nbsp; $Y$&nbsp; gilt:
+'''(1)'''&nbsp;  Für die Kullback–Leibler–Distanz der nicht partitionierten Mengen&nbsp; $X$&nbsp; und&nbsp; $Y$&nbsp; gilt:
 :$$D(P_X \hspace{0.05cm} ||  \hspace{0.05cm}P_Y) = {\rm E} \left [ {\rm log}_2 \hspace{0.1cm} \frac{P_X(X)}{P_Y(X)}\right ] \hspace{0.2cm}=\hspace{0.2cm} \sum_{x \hspace{0.05cm}\in \hspace{0.05cm}X}
@@ Zeile 98: / Zeile 98: @@
-'''(2)'''&nbsp;  Mit der &nbsp; $\text{Partitionierung &nbsp;A}$ &nbsp; &rArr; &nbsp;  $A_1 = \{0\}$ ,&nbsp;  $A_2 = \{ 1 , 2 \}$&nbsp; erhält man&nbsp;  $P_X^{ (A) } (X) = \{1/4 , \ 3/4\}$&nbsp; und&nbsp; $Q_X^{ (A) } (X) = \{1/8 , \ 7/8\}$.&nbsp;  Daraus folgt:
+'''(2)'''&nbsp;  Mit der Partitionierung&nbsp; $A$ &nbsp; &rArr; &nbsp;  $A_1 = \{0\}$ ,&nbsp;  $A_2 = \{ 1 , 2 \}$&nbsp; erhält man&nbsp;  $P_X^{ (A) } (X) = \{1/4 , \ 3/4\}$&nbsp; und&nbsp; $Q_X^{ (A) } (X) = \{1/8 , \ 7/8\}$.&nbsp;  Daraus folgt:
 :$$D(P_X^{\hspace{0.15cm}(A)} \hspace{0.05cm}|| \hspace{0.05cm} Q_X^{\hspace{0.15cm}(A)}) = \frac{1}{4}\cdot {\rm log}_2 \hspace{0.1cm} \frac{1/4}{1/8} +
@@ Zeile 106: / Zeile 106: @@
-'''(3)'''&nbsp; Mit der &nbsp; $\text{Partitionierung &nbsp;B}$ &nbsp; &rArr; &nbsp;  $B_1 = \{1\}$ ,&nbsp;  $B_2 = \{ 0 ,\ 2 \}$&nbsp; lauten  die  Wahrscheinlichkeitsfunktionen&nbsp;  $P_X^{ (B) } (X) = \{1/2 , \ 1/2\}$&nbsp; und&nbsp; $Q_X^{ (B) } (X) = \{3/4 , \ 1/4\}$.&nbsp;
+'''(3)'''&nbsp; Mit Partitionierung&nbsp; $B$ &nbsp; &rArr; &nbsp;  $B_1 = \{1\}$ ,&nbsp;  $B_2 = \{ 0 ,\ 2 \}$&nbsp; lauten  die  Wahrscheinlichkeitsfunktionen&nbsp;  $P_X^{ (B) } (X) = \{1/2 , \ 1/2\}$&nbsp; und&nbsp; $Q_X^{ (B) } (X) = \{3/4 , \ 1/4\}$.&nbsp;
 *Analog zur Teilaufgabe&nbsp; '''(2)'''&nbsp; erhält man so:
 :$$D(P_X^{\hspace{0.15cm}(B)} \hspace{0.05cm}|| \hspace{0.05cm} Q_X^{\hspace{0.15cm}(B)})  = \frac{1}{2}\cdot {\rm log}_2 \hspace{0.1cm} \frac{1/2}{3/4} +
 \frac{1}{2}\cdot {\rm log}_2 \hspace{0.1cm} \frac{1/2}{1/4} \hspace{0.15cm} \underline {=0.2075\,{\rm (bit)}}
 \hspace{0.05cm}.$$
-*Das Ergebnis stimmt mit dem der Teilaufgabe&nbsp; '''(1)'''&nbsp; überein &nbsp; &rArr; &nbsp; Bei der&nbsp; $\text{Partitionierung B}$&nbsp; gilt das Gleichheitszeichen.
+*Das Ergebnis stimmt mit dem der Teilaufgabe&nbsp; '''(1)'''&nbsp; überein &nbsp; &rArr; &nbsp; Bei der  Mit Partitionierung&nbsp; $B$&nbsp; gilt das Gleichheitszeichen.
-'''(4)'''&nbsp; Mit der &nbsp; $\text{Partitionierung &nbsp;C}$ &nbsp; &rArr; &nbsp;  $C_1 = \{2\}$ ,  $C_2 = \{ 0 , \ 1\}$&nbsp; erhält man&nbsp;  $P_X^{ (C) } (X) = \{1/4, \  3/4\}$  , $Q_X^{ (C) } (X) = \{1/8, \ 7/8\}$, <br>also die gleichen Funktionen wie bei der&nbsp; $\text{Partitionierung A}$ &nbsp; &rArr; &nbsp; <u>Lösungsvorschlag 1</u>.
+'''(4)'''&nbsp; Mit der  Mit Partitionierung&nbsp; $C$ &nbsp; &rArr; &nbsp;  $C_1 = \{2\}$ ,  $C_2 = \{ 0 , \ 1\}$&nbsp; erhält man&nbsp;  $P_X^{ (C) } (X) = \{1/4, \  3/4\}$  , $Q_X^{ (C) } (X) = \{1/8, \ 7/8\}$, <br>also die gleichen Funktionen wie bei der Partitionierung&nbsp; $A$ &nbsp; &rArr; &nbsp; <u>Lösungsvorschlag 1</u>.
-'''(5)'''&nbsp; Die&nbsp; $\text{Partitionierung B}$&nbsp; hat zum Ergebnis&nbsp; $D(P_X^{ (B) } \hspace{0.05cm} ||  \hspace{0.05cm}Q_X^{ (B) } ) = D(P_X \hspace{0.05cm} ||  \hspace{0.05cm}Q_X)$ geführt.
+'''(5)'''&nbsp; DiePartitionierung&nbsp; $B$&nbsp; hat zum Ergebnis&nbsp; $D(P_X^{ (B) } \hspace{0.05cm} ||  \hspace{0.05cm}Q_X^{ (B) } ) = D(P_X \hspace{0.05cm} ||  \hspace{0.05cm}Q_X)$ geführt.
 *Für diesen Fall ist also
 :$$\frac{P_X(1)}{Q_X(1)} =  \frac{1/2}{3/4} = \frac{2}{3},  \ \frac{P_X(B_1)}{Q_X(B_1)} = \frac{1/2}{3/4} = {2}/{3},$$

@@ Zeile 77: / Zeile 77: @@
 {Unter welchen Bedingungen ergibt sich für allgemeines&nbsp; $K$&nbsp; die Gleichheit?
 |type="[]"}
-+ Es müssen&nbsp; $K=|X|$&nbsp; Gleichungen erfüllt sein.
++ Es müssen&nbsp; $|X|$&nbsp; Gleichungen erfüllt sein.
 + Für alle Mengenelemente &nbsp; $x \in A_i$&nbsp; muss gelten: &nbsp; $P_X(x)/Q_X(x) = P_X(A_i)/ Q_X(A_i)$.

@@ Zeile 45: / Zeile 45: @@
-''Hinweise:''
+Hinweise:
 *Die Aufgabe gehört zum  Kapitel&nbsp; [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen|Einige Vorbemerkungen zu zweidimensionalen Zufallsgrößen]].
 *Insbesondere wird Bezug genommen auf die Seite&nbsp; [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Relative_Entropie_.E2.80.93_Kullback.E2.80.93Leibler.E2.80.93Distanz|Relative Entropie &ndash; Kullback-Leibler-Distanz]].
@@ Zeile 77: / Zeile 77: @@
 {Unter welchen Bedingungen ergibt sich für allgemeines&nbsp; $K$&nbsp; die Gleichheit?
 |type="[]"}
-+ Es müssen&nbsp; $|X|$&nbsp; Gleichungen erfüllt sein.
++ Es müssen&nbsp; $K=|X|$&nbsp; Gleichungen erfüllt sein.
-+ Für&nbsp; $x \in A_i$&nbsp; muss gelten: &nbsp; $P_X(x)/Q_X(x) = P_X(A_i)/ Q_X(A_i)$
++ Für alle Mengenelemente &nbsp; $x \in A_i$&nbsp; muss gelten: &nbsp; $P_X(x)/Q_X(x) = P_X(A_i)/ Q_X(A_i)$.
 </quiz>
@@ Zeile 85: / Zeile 85: @@
 {{ML-Kopf}}
-'''(1)'''&nbsp;  Für die Kullback–Leibler–Distanz gilt:
+'''(1)'''&nbsp;  Für die Kullback–Leibler–Distanz der nicht partitinierten Mengen&nbsp; $X$&nbsp; und&nbsp; $Y$&nbsp; gilt:
 :$$D(P_X \hspace{0.05cm} ||  \hspace{0.05cm}P_Y) = {\rm E} \left [ {\rm log}_2 \hspace{0.1cm} \frac{P_X(X)}{P_Y(X)}\right ] \hspace{0.2cm}=\hspace{0.2cm} \sum_{x \hspace{0.05cm}\in \hspace{0.05cm}X}
@@ Zeile 98: / Zeile 98: @@
-'''(2)'''&nbsp;  Mit der&nbsp; $\text{Partitionierung A}$ &nbsp; &rArr; &nbsp;  $A_1 = \{0\}$ ,&nbsp;  $A_2 = \{ 1 , 2 \}$&nbsp; erhält man&nbsp;  $P_X^{ (A) } (X) = \{1/4 , \ 3/4\}$&nbsp; und&nbsp; $Q_X^{ (A) } (X) = \{1/8 , \ 7/8\}$.&nbsp;  Daraus folgt:
+'''(2)'''&nbsp;  Mit der &nbsp; $\text{Partitionierung &nbsp;A}$ &nbsp; &rArr; &nbsp;  $A_1 = \{0\}$ ,&nbsp;  $A_2 = \{ 1 , 2 \}$&nbsp; erhält man&nbsp;  $P_X^{ (A) } (X) = \{1/4 , \ 3/4\}$&nbsp; und&nbsp; $Q_X^{ (A) } (X) = \{1/8 , \ 7/8\}$.&nbsp;  Daraus folgt:
 :$$D(P_X^{\hspace{0.15cm}(A)} \hspace{0.05cm}|| \hspace{0.05cm} Q_X^{\hspace{0.15cm}(A)}) = \frac{1}{4}\cdot {\rm log}_2 \hspace{0.1cm} \frac{1/4}{1/8} +
@@ Zeile 106: / Zeile 106: @@
-'''(3)'''&nbsp; Mit der&nbsp; $\text{Partitionierung B}$ &nbsp; &rArr; &nbsp;  $B_1 = \{1\}$ ,&nbsp;  $B_2 = \{ 0 ,\ 2 \}$&nbsp; lauten  die  Wahrscheinlichkeitsfunktionen&nbsp;  $P_X^{ (B) } (X) = \{1/2 , \ 1/2\}$&nbsp; und&nbsp; $Q_X^{ (B) } (X) = \{3/4 , \ 1/4\}$.&nbsp;
+'''(3)'''&nbsp; Mit der &nbsp; $\text{Partitionierung &nbsp;B}$ &nbsp; &rArr; &nbsp;  $B_1 = \{1\}$ ,&nbsp;  $B_2 = \{ 0 ,\ 2 \}$&nbsp; lauten  die  Wahrscheinlichkeitsfunktionen&nbsp;  $P_X^{ (B) } (X) = \{1/2 , \ 1/2\}$&nbsp; und&nbsp; $Q_X^{ (B) } (X) = \{3/4 , \ 1/4\}$.&nbsp;
 *Analog zur Teilaufgabe&nbsp; '''(2)'''&nbsp; erhält man so:
 :$$D(P_X^{\hspace{0.15cm}(B)} \hspace{0.05cm}|| \hspace{0.05cm} Q_X^{\hspace{0.15cm}(B)})  = \frac{1}{2}\cdot {\rm log}_2 \hspace{0.1cm} \frac{1/2}{3/4} +
@@ Zeile 115: / Zeile 115: @@
+'''(5)'''&nbsp; Die&nbsp; $\text{Partitionierung B}$&nbsp; hat zum Ergebnis&nbsp; $D(P_X^{ (B) } \hspace{0.05cm} ||  \hspace{0.05cm}Q_X^{ (B) } ) = D(P_X \hspace{0.05cm} ||  \hspace{0.05cm}Q_X)$ geführt.
 *Für diesen Fall ist also
 :$$\frac{P_X(1)}{Q_X(1)} =  \frac{1/2}{3/4} = \frac{2}{3},  \ \frac{P_X(B_1)}{Q_X(B_1)} = \frac{1/2}{3/4} = {2}/{3},$$
@@ Zeile 126: / Zeile 125: @@
 :$$\frac{P_X(2)}{Q_X(2)} =  \frac{1/4}{1/8} = 2,  \ \frac{P_X(B_2)}{Q_X(B_2)} = \frac{1/2}{1/4} = 2.$$
-*Es muss demnach für alle&nbsp; $x \in X$&nbsp; gelten :
+*Es muss demnach für alle&nbsp; $x \in X$&nbsp; gelten:
 :$$\frac{P_X(x)}{Q_X(x)}  = \frac{P_X(B_1)}{Q_X(B_1)}, \text{falls } x \in B_1, \hspace{0.5cm}\frac{P_X(x)}{Q_X(x)}  = \frac{P_X(B_2)}{Q_X(B_2)}, \text{falls } x \in B_2.$$

@@ Zeile 57: / Zeile 57: @@
 <quiz display=simple>
-{Berechnen Sie die Kullback–Leibler–Distanz (KLD) allgemein.
+{Berechnen Sie die Kullback–Leibler–Distanz allgemein.
 |type="{}"}
 $ D(P_X \hspace{0.05cm} \vert \vert \hspace{0.05cm}  Q_X) \ = \ $ { 0.2075 3% } $\ \rm bit$

@@ Zeile 4: / Zeile 4: @@
 [[Datei:P_ID2812__Inf_A_3_5.png|right|frame|Wahrscheinlichkeitsfunktionen&nbsp; $P_X$,&nbsp; $Q_X$]]
-Die&nbsp; ''Kullback–Leibler–Distanz''&nbsp; (kurz KLD) wird auch in der „Partitionierungsungleichung”&nbsp; (englisch:&nbsp; ''Partition Unequality'') verwendet:
+Die&nbsp; '''Kullback–Leibler–Distanz'''&nbsp; (kurz KLD) wird auch in der „Partitionierungsungleichung”&nbsp; (englisch:&nbsp; "Partition Unequality")&nbsp; verwendet:
 * Wir gehen von der Menge&nbsp; $X =  \{ x_1, \hspace{0.15cm} x_2, \text{...} \hspace{0.05cm}, \hspace{0.15cm} x_M   \}$&nbsp; und den Wahrscheinlichkeitsfunktionen
 :$$P_X(X) = P_X (  x_1, \hspace{0.15cm} x_2, \text{...} \hspace{0.05cm}, \hspace{0.15cm} x_M   )\hspace{0.05cm},$$
@@ Zeile 23: / Zeile 23: @@
-In Teilaufgabe&nbsp; '''(1)'''&nbsp; soll die Kullback–Leibler–Distanz der beiden Wahrscheinlichkeitsfunktionen&nbsp; $P_X(X)$&nbsp; und&nbsp; $Q_X(X)$&nbsp; für&nbsp; $X = \{0,\ 1,\ 2\}$ &nbsp; &rArr; &nbsp; $|X| = 3$ ermittelt werden.
+In Teilaufgabe&nbsp; '''(1)'''&nbsp; soll die Kullback–Leibler–Distanz der beiden Wahrscheinlichkeitsfunktionen&nbsp; $P_X(X)$&nbsp; und&nbsp; $Q_X(X)$&nbsp; für&nbsp; $X = \{0,\ 1,\ 2\}$ &nbsp; &rArr; &nbsp; $|X| = 3$&nbsp; ermittelt werden.
 *Danach soll die Menge&nbsp; $X$&nbsp; mit&nbsp; $K = 2$&nbsp; partitioniert werden entsprechend
@@ Zeile 46: / Zeile 46: @@
 ''Hinweise:''
-*Die Aufgabe gehört zum  Kapitel&nbsp; [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen|Einige Vorbemerkungen zu den 2D-Zufallsgrößen]].
+*Die Aufgabe gehört zum  Kapitel&nbsp; [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen|Einige Vorbemerkungen zu zweidimensionalen Zufallsgrößen]].
 *Insbesondere wird Bezug genommen auf die Seite&nbsp; [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Relative_Entropie_.E2.80.93_Kullback.E2.80.93Leibler.E2.80.93Distanz|Relative Entropie &ndash; Kullback-Leibler-Distanz]].

@@ Zeile 97: / Zeile 97: @@
 '''(2)'''&nbsp;  Mit der $\text{Partitionierung A}$ &nbsp; &rArr; &nbsp;  $A_1 = \{0\}$ ,  $A_2 = \{ 1 , 2 \}$ erhält man  $P_X^{ (A) } (X) = \{1/4 , \ 3/4\}$ und $Q_X^{ (A) } (X) = \{1/8 , \ 7/8\}$.  Daraus folgt:
 :$$D(P_X^{\hspace{0.15cm}(A)} \hspace{0.05cm}|| \hspace{0.05cm} Q_X^{\hspace{0.15cm}(A)}) = \frac{1}{4}\cdot {\rm log}_2 \hspace{0.1cm} \frac{1/4}{1/8} +
@@ Zeile 104: / Zeile 105: @@
 '''(3)'''&nbsp; Mit der $\text{Partitionierung B}$ &nbsp; &rArr; &nbsp;  $B_1 = \{1\}$ ,  $B_2 = \{ 0 ,\ 2 \}$ lauten  die  Wahrscheinlichkeitsfunktionen  $P_X^{ (B) } (X) = \{1/2 , \ 1/2\}$ und $Q_X^{ (B) } (X) = \{3/4 , \ 1/4\}$. Analog zur Teilaufgabe '''(2)''' erhält man so:
 :$$D(P_X^{\hspace{0.15cm}(B)} \hspace{0.05cm}|| \hspace{0.05cm} Q_X^{\hspace{0.15cm}(B)})  = \frac{1}{2}\cdot {\rm log}_2 \hspace{0.1cm} \frac{1/2}{3/4} +
 \frac{1}{2}\cdot {\rm log}_2 \hspace{0.1cm} \frac{1/2}{1/4} \hspace{0.15cm} \underline {=0.2075\,{\rm (bit)}}
 \hspace{0.05cm}.$$
-Das Ergebnis stimmt mit dem der Teilaufgabe '''(1)''' überein &nbsp; &rArr; &nbsp; Bei der $\text{Partitionierung B}$ gilt das Gleichheitszeichen.
+*Das Ergebnis stimmt mit dem der Teilaufgabe&nbsp; '''(1)'''&nbsp; überein &nbsp; &rArr; &nbsp; Bei der&nbsp; $\text{Partitionierung B}$&nbsp; gilt das Gleichheitszeichen.
-'''(5)'''&nbsp; Die $\text{Partitionierung C}$ hat zum Ergebnis $D(P_X^{ (B) } \hspace{0.05cm} ||  \hspace{0.05cm}Q_X^{ (B) } ) = D(P_X \hspace{0.05cm} ||  \hspace{0.05cm}Q_X)$ geführt. Für diesen Fall ist also
+'''(5)'''&nbsp; Die&nbsp; $\text{Partitionierung C}$&nbsp; hat zum Ergebnis&nbsp; $D(P_X^{ (B) } \hspace{0.05cm} ||  \hspace{0.05cm}Q_X^{ (B) } ) = D(P_X \hspace{0.05cm} ||  \hspace{0.05cm}Q_X)$ geführt.
 :$$\frac{P_X(1)}{Q_X(1)} =  \frac{1/2}{3/4} = \frac{2}{3},  \ \frac{P_X(B_1)}{Q_X(B_1)} = \frac{1/2}{3/4} = {2}/{3},$$
 :$$\frac{P_X(0)}{Q_X(0)} =  \frac{1/4}{1/8} = 2,  \ \frac{P_X(B_2)}{Q_X(B_2)} = \frac{1/2}{1/4} = 2,$$
 :$$\frac{P_X(2)}{Q_X(2)} =  \frac{1/4}{1/8} = 2,  \ \frac{P_X(B_2)}{Q_X(B_2)} = \frac{1/2}{1/4} = 2.$$
-Es muss also für alle $x \in X$ gelten :
+*Es muss demnach für alle&nbsp; $x \in X$&nbsp; gelten :
 :$$\frac{P_X(x)}{Q_X(x)}  = \frac{P_X(B_1)}{Q_X(B_1)}, \text{falls } x \in B_1, \hspace{0.5cm}\frac{P_X(x)}{Q_X(x)}  = \frac{P_X(B_2)}{Q_X(B_2)}, \text{falls } x \in B_2.$$
-Durch Verallgemeinerung erkennt man, dass <u>beide Lösungsvorschläge</u> richtig sind.
+*Durch Verallgemeinerung erkennt man, dass&nbsp; <u>beide Lösungsvorschläge</u>&nbsp; richtig sind.
 {{ML-Fuß}}

@@ Zeile 11: / Zeile 11: @@
 * Die Menge&nbsp; $X$&nbsp; unterteilen wir in die Partitionen&nbsp; $A_1, \text{...} ,&nbsp; A_K$, die zueinander&nbsp; [[Stochastische_Signaltheorie/Mengentheoretische_Grundlagen#Disjunkte_Mengen|disjunkt]]&nbsp; sind und ein&nbsp; [[Stochastische_Signaltheorie/Mengentheoretische_Grundlagen#Vollst.C3.A4ndiges_System|vollständiges System]]&nbsp; ergeben:
-:$$X = \big \{ \hspace{0.05cm} x_1, \hspace{0.15cm} x_2, \text{...} \hspace{0.05cm}, \hspace{0.15cm} x_M  \hspace{0.05cm} \big \}.$$
+:$$\bigcup_{i=1}^{K} = X, \hspace{0.5cm} A_i \cap A_j = {\it \phi} \hspace{0.25cm}\text{für}\hspace{0.25cm} 1 \le i \ne j \le K .$$
 * Die Wahrscheinlichkeitsfunktionen bezüglich der Partitionierungen&nbsp; $A_1,\ A_2, \text{...} ,\ A_K$&nbsp; bezeichnen wir im Folgenden mit
@@ Zeile 26: / Zeile 26: @@
 *Danach soll die Menge&nbsp; $X$&nbsp; mit&nbsp; $K = 2$&nbsp; partitioniert werden entsprechend
-:* $A = \{A_1 ,\ A_2\}$&nbsp;   mit&nbsp;  $A_1 =\{0\}$  und $A_2 = \{ 1,\ 2 \}$ ,
+:* $A = \{A_1 ,\ A_2\}$&nbsp;   mit&nbsp;  $A_1 =\{0\}$&nbsp;  und&nbsp; $A_2 = \{ 1,\ 2 \}$ ,
-:* $B = \{B_1 ,\ B_2\}$&nbsp;   mit&nbsp;  $B_1 =\{1\}$  und $B_2 = \{ 0,\ 2 \}$,
+:* $B = \{B_1 ,\ B_2\}$&nbsp;   mit&nbsp;  $B_1 =\{1\}$&nbsp;  und&nbsp; $B_2 = \{ 0,\ 2 \}$,
-:* $C = \{C_1 ,\ C_2\}$&nbsp;   mit&nbsp;  $C_1 =\{2\}$  und $C_2 = \{  0,\ 1\}$,
+:* $C = \{C_1 ,\ C_2\}$&nbsp;   mit&nbsp;  $C_1 =\{2\}$&nbsp;  und&nbsp; $C_2 = \{  0,\ 1\}$,
 *Anschließend sollen die jeweiligen Kullback–Leibler–Distanzen angegeben werden:
@@ Zeile 35: / Zeile 35: @@
 :* $D(P_X^{ (C) } \hspace{0.05cm} \vert \vert \hspace{0.05cm} Q_X^{ (C) } )$.
-*In der Teilaufgabe&nbsp; '''(5)'''&nbsp;  wird schließlich nach den Bedingungen gefragt, damit in der obigen Ungleichung das Gleichheitszeichen zutrifft.
+*In der Teilaufgabe&nbsp; '''(5)'''&nbsp;  wird schließlich nach den Bedingungen gefragt, die erfüllt sein müssen,  damit in der obigen Ungleichung das Gleichheitszeichen zutrifft.
@@ Zeile 61: / Zeile 61: @@
 $ D(P_X \hspace{0.05cm} \vert \vert \hspace{0.05cm}  Q_X) \ = \ $ { 0.2075 3% } $\ \rm bit$
-{Welche Kullback–Leibler–Distanz ergibt sich für die Partitionierung  $ A_1 = \{0\}, A_2 = \{1, 2\}$?
+{Welche Kullback–Leibler–Distanz ergibt sich für die Partitionierung&nbsp;  $ A_1 = \{0\},\ A_2 = \{1, 2\}$?
 |type="{}"}
 $D(P_X^{ (A) } \hspace{0.05cm} \vert \vert \hspace{0.05cm} Q_X^{ (A) } ) \ = \ $ { 0.0832 3% } $\ \rm bit$
-{Welche Kullback–Leibler–Distanz  ergibt sich für die Partitionierung  $ B_1 = \{1\}, B_2 = \{0, 2\}$?
+{Welche Kullback–Leibler–Distanz  ergibt sich für die Partitionierung&nbsp;  $ B_1 = \{1\}, \ B_2 = \{0, 2\}$?
 |type="{}"}
 $D(P_X^{ (B) } \hspace{0.05cm} \vert \vert \hspace{0.05cm} Q_X^{ (B) } ) \ = \ $ { 0.2075 3% } $\ \rm bit$
-{Welche Kullback–Leibler–Distanz ergibt sich für die Partitionierung  $ C_1 = \{2\}, C_2 = \{0, 1\}$?
+{Welche Kullback–Leibler–Distanz ergibt sich für die Partitionierung&nbsp;  $ C_1 = \{2\},\ C_2 = \{0, 1\}$?
 |type="()"}
-+ Das gleiche Ergebnis wie für die Partitionierung $A$.
++ Das gleiche Ergebnis wie für die Partitionierung&nbsp; $A$.
-- Das gleiche Ergebnis wie für die Partitionierung $B$.
+- Das gleiche Ergebnis wie für die Partitionierung&nbsp; $B$.
 - Ein ganz anderes Ergebnis.
-{Unter welchen Bedingungen ergibt sich für allgemeines $K$ die Gleichheit?
+{Unter welchen Bedingungen ergibt sich für allgemeines&nbsp; $K$&nbsp; die Gleichheit?
 |type="[]"}
-+ Es müssen $|X|$ Gleichungen erfüllt sein.
++ Es müssen&nbsp; $|X|$&nbsp; Gleichungen erfüllt sein.
-+ Für $x \in A_i$ muss gelten: &nbsp; $P_X(x)/Q_X(x) = P_X(A_i)/ Q_X(A_i)$
++ Für&nbsp; $x \in A_i$&nbsp; muss gelten: &nbsp; $P_X(x)/Q_X(x) = P_X(A_i)/ Q_X(A_i)$
 </quiz>
@@ Zeile 85: / Zeile 85: @@
 {{ML-Kopf}}
-'''(1)'''&nbsp;  Für die Kullback–Leibler–Distanz (KLD) gilt:
+'''(1)'''&nbsp;  Für die Kullback–Leibler–Distanz gilt:
 :$$D(P_X \hspace{0.05cm} ||  \hspace{0.05cm}P_Y) = {\rm E} \left [ {\rm log}_2 \hspace{0.1cm} \frac{P_X(X)}{P_Y(X)}\right ] \hspace{0.2cm}=\hspace{0.2cm} \sum_{x \hspace{0.05cm}\in \hspace{0.05cm}X}

@@ Zeile 3: / Zeile 3: @@
 }}
-[[Datei:P_ID2812__Inf_A_3_5.png|right|frame|Wahrscheinlichkeitsfunktionen $P_X$, $Q_X$]]
+[[Datei:P_ID2812__Inf_A_3_5.png|right|frame|Wahrscheinlichkeitsfunktionen&nbsp; $P_X$,&nbsp; $Q_X$]]
-Die ''Kullback–Leibler–Distanz'' (kurz KLD) wird auch in der „Partitionierungsungleichung” (englisch: ''Partition Unequality'') verwendet:
+Die&nbsp; ''Kullback–Leibler–Distanz''&nbsp; (kurz KLD) wird auch in der „Partitionierungsungleichung”&nbsp; (englisch:&nbsp; ''Partition Unequality'') verwendet:
-* Wir gehen von der Menge $X =  \{ x_1, \hspace{0.05cm} x_2, \text{...} \hspace{0.05cm}, \hspace{0.05cm} x_M   \}$ und den Wahrscheinlichkeitsfunktionen
+* Wir gehen von der Menge&nbsp; $X =  \{ x_1, \hspace{0.15cm} x_2, \text{...} \hspace{0.05cm}, \hspace{0.15cm} x_M   \}$&nbsp; und den Wahrscheinlichkeitsfunktionen
-:$$P_X(X) = P_X (  x_1, \hspace{0.05cm} x_2, \text{...} \hspace{0.05cm}, \hspace{0.05cm} x_M   )\hspace{0.05cm},$$
+:$$P_X(X) = P_X (  x_1, \hspace{0.15cm} x_2, \text{...} \hspace{0.05cm}, \hspace{0.15cm} x_M   )\hspace{0.05cm},$$
-:$$Q_X(X) =Q_X (  x_1, \hspace{0.05cm} x_2, \text{...} \hspace{0.05cm}, \hspace{0.05cm} x_M   ), $$
+:$$Q_X(X) =Q_X (  x_1, \hspace{0.15cm} x_2, \text{...} \hspace{0.05cm}, \hspace{0.15cm} x_M   ), $$
-aus, die „in irgendeiner Form ähnlich” sein sollen.
+:aus, die „in irgendeiner Form ähnlich” sein sollen.
-* Die Menge $X$ unterteilen wir in die Partitionen $A_1, \text{...} , A_K$ , die zueinander [[Stochastische_Signaltheorie/Mengentheoretische_Grundlagen#Disjunkte_Mengen|disjunkt]] sind und ein [[Stochastische_Signaltheorie/Mengentheoretische_Grundlagen#Vollst.C3.A4ndiges_System|vollständiges System]] ergeben:
+* Die Menge&nbsp; $X$&nbsp; unterteilen wir in die Partitionen&nbsp; $A_1, \text{...} ,&nbsp; A_K$, die zueinander&nbsp; [[Stochastische_Signaltheorie/Mengentheoretische_Grundlagen#Disjunkte_Mengen|disjunkt]]&nbsp; sind und ein&nbsp; [[Stochastische_Signaltheorie/Mengentheoretische_Grundlagen#Vollst.C3.A4ndiges_System|vollständiges System]]&nbsp; ergeben:
-:$$X = \big \{ \hspace{0.05cm} x_1, \hspace{0.05cm} x_2, \text{...} \hspace{0.05cm}, \hspace{0.05cm} x_M  \hspace{0.05cm} \big \}.$$
+:$$X = \big \{ \hspace{0.05cm} x_1, \hspace{0.15cm} x_2, \text{...} \hspace{0.05cm}, \hspace{0.15cm} x_M  \hspace{0.05cm} \big \}.$$
-* Die Wahrscheinlichkeitsfunktionen bezüglich der Partitionierungen $A_1, A_2, \text{...} , A_K$ bezeichnen wir im Folgenden mit
+* Die Wahrscheinlichkeitsfunktionen bezüglich der Partitionierungen&nbsp; $A_1,\ A_2, \text{...} ,\ A_K$&nbsp; bezeichnen wir im Folgenden mit
 :$$P_X^{\hspace{0.15cm}(A)} = \big [ P_X (  A_1  )\hspace{0.05cm}, \hspace{0.05cm}\text{...}\hspace{0.1cm},P_X (  A_K  ) \big  ],\hspace{0.05cm}\hspace{0.5cm}{\rm wobei}\hspace{0.15cm} P_X (  A_i  ) = \sum_{ x \in A_i} P_X ( x  )\hspace{0.05cm},$$
 :$$Q_X^{\hspace{0.15cm}(A)}= \big  [ Q_X (  A_1  )\hspace{0.05cm}, \hspace{0.05cm}\text{...}\hspace{0.1cm},Q_X (  A_K  ) \big  ],\hspace{0.05cm}\hspace{0.40cm}{\rm wobei}\hspace{0.15cm} Q_X (  A_i  ) = \sum_{ x \in A_i} Q_X ( x  )\hspace{0.05cm}. $$
 {{BlaueBox|TEXT=
-$\text{Bitte beachten Sie:}$ &nbsp;Die '''Partitionierungsungleichung''' liefert folgende Größenrelation hinsichtlich der Kullback–Leibler–Distanzen:
+$\text{Bitte beachten Sie:}$ &nbsp;Die&nbsp; '''Partitionierungsungleichung'''&nbsp; liefert  hinsichtlich der Kullback–Leibler–Distanzen folgende Größenrelation:
 :$$D(P_X^{\hspace{0.15cm}(A)} \hspace{0.05cm} \vert \vert \hspace{0.05cm} Q_X^{\hspace{0.15cm}(A)})
 \hspace{0.25cm}\le \hspace{0.25cm}D(P_X \hspace{0.05cm}\vert \vert \hspace{0.05cm} Q_X) \hspace{0.05cm}.$$}}
-In Teilaufgabe '''(1)''' soll die Kullback–Leibler–Distanz der beiden Wahrscheinlichkeitsfunktionen $P_X(X)$ und $Q_X(X)$ für $X = \{0, 1, 2\}$ &nbsp;&rArr;&nbsp; $|X| = 3$ ermittelt werden. Anschließend soll die Menge $X$ mit $K = 2$ partitioniert werden entsprechend
+In Teilaufgabe&nbsp; '''(1)'''&nbsp; soll die Kullback–Leibler–Distanz der beiden Wahrscheinlichkeitsfunktionen&nbsp; $P_X(X)$&nbsp; und&nbsp; $Q_X(X)$&nbsp; für&nbsp; $X = \{0,\ 1,\ 2\}$ &nbsp; &rArr; &nbsp; $|X| = 3$ ermittelt werden.