Informationstheorie/Einige Vorbemerkungen zu zweidimensionalen Zufallsgrößen - Versionsgeschichte

Guenter am 16. Juli 2021 um 12:30 Uhr

2021-07-16T12:30:27Z

Guenter am 16. Juli 2021 um 09:05 Uhr

2021-07-16T09:05:32Z

Guenter am 15. Juli 2021 um 17:00 Uhr

2021-07-15T17:00:41Z

Guenter am 15. Juli 2021 um 15:11 Uhr

2021-07-15T15:11:09Z

Guenter am 15. Juli 2021 um 15:08 Uhr

2021-07-15T15:08:45Z

Guenter am 15. Juli 2021 um 12:38 Uhr

2021-07-15T12:38:58Z

Guenter am 15. Juli 2021 um 09:12 Uhr

2021-07-15T09:12:55Z

Guenter am 15. Juli 2021 um 08:22 Uhr

2021-07-15T08:22:55Z

Guenter am 13. Juli 2021 um 15:37 Uhr

2021-07-13T15:37:15Z

Guenter am 13. Juli 2021 um 15:11 Uhr

2021-07-13T15:11:32Z

@@ Zeile 136: / Zeile 136: @@
 ==Wahrscheinlichkeitsfunktion und Entropie==
 <br>
-In der wertdiskreten Informationstheorie genügt im Gegensatz zu übertragungstechnischen Problemen schon die Kenntnis der Wahrscheinlichkeitsfunktion&nbsp; $P_X(X)$,&nbsp; zum Beispiel zur Berechnung der&nbsp; [[Informationstheorie/Gedächtnislose_Nachrichtenquellen#Informationsgehalt_und_Entropie|Entropie]].
+In der wertdiskreten Informationstheorie genügt im Gegensatz zu übertragungstechnischen Problemen schon die Kenntnis der Wahrscheinlichkeitsfunktion&nbsp; $P_X(X)$,&nbsp; zum Beispiel zur&nbsp; [[Informationstheorie/Gedächtnislose_Nachrichtenquellen#Informationsgehalt_und_Entropie|Entropieberechnung]].
 {{BlaueBox|TEXT=

← Nächstältere Version		Version vom 16. Juli 2021, 09:05 Uhr
Zeile 380:		Zeile 380:
	Rechts dargestellt ist der Fall, dass die 2D–PMF  $Q_{RS}(·)$  empirisch ermittelt wurde  $(N = 18)$.  Obwohl sich aufgrund des sehr kleinen  $N$–Wertes ein völlig anderes Bild ergibt, liefert die Näherung für  $H(RS)$  den exakt gleichen Wert wie die Näherung für  $H(RB)$  im $\text{Beispiel 5}$:		Rechts dargestellt ist der Fall, dass die 2D–PMF  $Q_{RS}(·)$  empirisch ermittelt wurde  $(N = 18)$.  Obwohl sich aufgrund des sehr kleinen  $N$–Wertes ein völlig anderes Bild ergibt, liefert die Näherung für  $H(RS)$  den exakt gleichen Wert wie die Näherung für  $H(RB)$  im $\text{Beispiel 5}$:

−	:$$H(RS) \big \vert_{N \hspace{0.05cm} = \hspace{0.05cm}18} = H(RB) \big \vert_{N \hspace{0.05cm} = \hspace{0.05cm}18} = 4.059\,{\rm bit~~} \hspace{0.05cm~~}.$$}}	+	:$$H(RS) \big \vert_{N \hspace{0.05cm} = \hspace{0.05cm}18} = H(RB) \big \vert_{N \hspace{0.05cm} = \hspace{0.05cm}18} = 4.059\hspace{0.15cm}{\rm bit} .$$}}

@@ Zeile 332: / Zeile 332: @@
-Die linke Grafik zeigt die Wahrscheinlichkeiten&nbsp; $P_{RB}(·)$, die sich für alle&nbsp; $μ = 1$, ... , $6$&nbsp; und für alle&nbsp; $κ = 1$, ... , $6$&nbsp; gleichermaßen zu&nbsp; $1/36$&nbsp; ergeben.
+Die linke Grafik zeigt die Wahrscheinlichkeiten&nbsp;
 Damit erhält man für die Verbundentropie:
@@ Zeile 349: / Zeile 351: @@
 {{GraueBox|TEXT=
-$\text{Beispiel 6:}$&nbsp; Beim Würfel–Experiment haben wir neben den Zufallsgrößen&nbsp; $R$&nbsp; (roter Würfel) und&nbsp; $B$&nbsp; (blauer Würfel) auch die Summe&nbsp; $S = R + B$&nbsp; betrachtet.&nbsp; Die linke Grafik zeigt, dass man die 2D&ndash;Wahrscheinlichkeitsfunktion&nbsp; $P_{RS}(·)$&nbsp; nicht als Produkt von&nbsp; $P_R(·)$&nbsp; und&nbsp; $P_S(·)$&nbsp; schreiben kann.
+$\text{Beispiel 6:}$&nbsp; Beim Würfel–Experiment haben wir neben den Größen&nbsp; $R$&nbsp; (roter Würfel) und&nbsp; $B$&nbsp; (blauer Würfel) auch die Summe&nbsp; $S = R + B$&nbsp; betrachtet.&nbsp;
 Mit den Wahrscheinlichkeitsfunktionen
-:$$P_R(R) = \big [ \hspace{0.02cm} 1/6\hspace{0.05cm},\ 1/6\hspace{0.05cm},\ 1/6\hspace{0.05cm},\ 1/6\hspace{0.05cm},\ 1/6\hspace{0.05cm},\ 1/6 \hspace{0.02cm} \big ] \hspace{0.05cm},$$
+:$$P_R(R) = 1/6 \cdot \big [ 1,\ 1,\ 1,\ 1,\ 1,\ 1 \big ],$$
-:$$P_S(S)=\big [ \hspace{0.02cm}  1/36\hspace{0.05cm},\ 2/36\hspace{0.05cm},\ 3/36\hspace{0.05cm},\ 4/36\hspace{0.05cm},\ 5/36\hspace{0.05cm},\ 6/36\hspace{0.05cm},\ 5/36\hspace{0.05cm},\ 4/36\hspace{0.05cm},\ 3/36\hspace{0.05cm},\ 2/36\hspace{0.05cm},\ 1/36\hspace{0.02cm} \big ] \hspace{0.05cm}$$
+:$$P_S(S)=1/36 \cdot \big [ 1,\ 2,\ 3,\ 4,\ 5,\ 6,\ 5,\ 4,\ 3,\ 2,\ 1 \big ] $$
 erhält man für die Entropien:
-:$$H(S) = 2 \hspace{-0.05cm}\cdot \hspace{-0.05cm}\frac{1}{36} \hspace{-0.05cm}\cdot \hspace{-0.05cm} {\rm log}_2 \hspace{0.05cm}  \frac{36}{1} \hspace{0.05cm} + 2 \hspace{-0.05cm}\cdot \hspace{-0.05cm} \frac{2}{36} \hspace{-0.05cm}\cdot \hspace{-0.05cm} {\rm log}_2 \hspace{0.05cm}  \frac{36}{2} \hspace{0.05cm} + 2 \hspace{-0.05cm}\cdot \hspace{-0.05cm} \frac{3}{36} \cdot {\rm log}_2 \hspace{0.05cm}  \frac{36}{3} \hspace{0.05cm} + 2 \hspace{-0.05cm}\cdot \hspace{-0.05cm} \frac{4}{36} \cdot {\rm log}_2 \hspace{0.05cm}  \frac{36}{4} \hspace{0.05cm} +2 \hspace{-0.05cm}\cdot \hspace{-0.05cm} \frac{5}{36} \cdot {\rm log}_2 \hspace{0.05cm}  \frac{36}{5}
+::$$+ 2 \hspace{-0.05cm}\cdot \hspace{-0.05cm} \frac{4}{36} \cdot {\rm log}_2 \hspace{0.05cm}  \frac{36}{4} \hspace{0.05cm} +2 \hspace{-0.05cm}\cdot \hspace{-0.05cm} \frac{5}{36} \cdot {\rm log}_2 \hspace{0.05cm}  \frac{36}{5}
-+ 1 \hspace{-0.05cm}\cdot \hspace{-0.05cm} \frac{6}{36} \cdot {\rm log}_2 \hspace{0.05cm}  \frac{36}{6} \approx 3.274\ {\rm bit} \hspace{0.05cm}, $$
++ 1 \hspace{-0.05cm}\cdot \hspace{-0.05cm} \frac{6}{36} \cdot {\rm log}_2 \hspace{0.05cm}  \frac{36}{6}  $$
-:$$H(R) = {\rm log}_2 \hspace{0.1cm} (6) \approx 2.585\ {\rm bit} \hspace{0.05cm},\hspace{1.05cm}
-H(RS) = {\rm log}_2 \hspace{0.1cm} (36) \approx 5.170\ {\rm bit} \hspace{0.05cm}.$$
+:$$\Rightarrow \hspace{0.3cm} H(S) \approx 3.274\hspace{0.15cm} {\rm bit} . $$
-[[Datei:P_ID2748__Inf_T_3_1_S5b_neu.png|right|frame|2D–PMF $P_{RS}$ und Näherung $Q_{RS}$]]
+*Aufgrund der statistischen Abhängigkeit zwischen dem roten Würfel und der Summe ist die Verbundentropie&nbsp; $H(RS) ≈ 5.170 \hspace{0.15cm} \rm bit$&nbsp; kleiner als die Summe&nbsp; $H(R) + H(S) ≈ 5.877 \hspace{0.15cm} \rm bit.$
 <br clear=all>
 Rechts dargestellt ist der Fall, dass die 2D–PMF&nbsp; $Q_{RS}(·)$&nbsp; empirisch ermittelt wurde&nbsp; $(N = 18)$.&nbsp; Obwohl sich aufgrund des sehr kleinen&nbsp; $N$–Wertes ein völlig anderes Bild ergibt, liefert die Näherung für&nbsp; $H(RS)$&nbsp; den exakt gleichen Wert wie die Näherung für&nbsp; $H(RB)$&nbsp; im $\text{Beispiel 5}$:

@@ Zeile 316: / Zeile 316: @@
 Diese Ungleichung drückt folgenden Sachverhalt aus:
-*Das Gleichheitszeichen gilt nur für den Sonderfall statistisch unabhängiger Zufallsgrößen, wie im folgenden&nbsp; $\text{Beispiel 5}$&nbsp; anhand der Zufallsgrößen&nbsp; $R$&nbsp; und&nbsp; $B$&nbsp; demonstriert wird.&nbsp; Hierbei bezeichnen&nbsp; $R$&nbsp; und&nbsp; $B$&nbsp; wieder die Augenzahlen des roten bzw.  des blauen Würfels.
+*Das Gleichheitszeichen gilt nur für den Sonderfall statistisch unabhängiger Zufallsgrößen, wie im folgenden&nbsp; $\text{Beispiel 5}$&nbsp; anhand der Zufallsgrößen&nbsp; $R$&nbsp; und&nbsp; $B$&nbsp; demonstriert wird.&nbsp; Hierbei bezeichnen&nbsp; $R$&nbsp; und&nbsp; $B$&nbsp; wieder die Augenzahlen des roten bzw.  des blauen Würfels:
 *Gibt es dagegen wie im&nbsp; $\text{Beispiel 6}$&nbsp; statistische Abhängigkeiten zwischen den Zufallsgrößen&nbsp; $R$&nbsp; und&nbsp; $S = R + B$, so gilt in obiger Gleichung das „<”–Zeichen: &nbsp;
 :$$H(RS) < H(R) + H(S).$$

@@ Zeile 294: / Zeile 294: @@
 ==Verbundwahrscheinlichkeit und Verbundentropie  ==
 <br>
-Für den Rest diese dritten Kapitels betrachten wir stets zwei diskrete Zufallsgrößen&nbsp; $X = \{ x_1, \ x_2$, ... ,&nbsp; $x_M \}$&nbsp; und&nbsp; $Y = \{ y_1, \ y_2$, ... ,&nbsp; $y_K \}$, deren Wertebereiche nicht notwendigerweise übereinstimmen müssen.&nbsp; Das heißt: &nbsp; $K ≠ M$ $($in anderer Notation:&nbsp; $|Y| ≠ |X|)$&nbsp; ist durchaus erlaubt.
+Für den Rest dieses dritten Kapitels betrachten wir stets zwei diskrete Zufallsgrößen&nbsp; $X = \{ x_1, \ x_2$, ... ,&nbsp; $x_M \}$&nbsp; und&nbsp; $Y = \{ y_1, \ y_2$, ... ,&nbsp; $y_K \}$, deren Wertebereiche nicht notwendigerweise übereinstimmen müssen.&nbsp; Das heißt: &nbsp; $K ≠ M$ $($in anderer Notation:&nbsp; $|Y| ≠ |X|)$&nbsp; ist durchaus erlaubt.
 Die Wahrscheinlichkeitsfunktion hat somit eine&nbsp; $K×M$–Matrixform mit den Elementen
@@ Zeile 303: / Zeile 303: @@
 {{BlaueBox|TEXT=
-$\text{Definition:}$&nbsp; Die&nbsp; '''Verbundentropie'''&nbsp; (englisch:&nbsp; ''Joint Entropy'')&nbsp; lässt sich mit der 2D–Wahrscheinlichkeitsfunktion&nbsp; $P_{XY}(X, Y)$&nbsp; als Erwartungswert wie folgt darstellen:
+$\text{Definition:}$&nbsp; Die&nbsp; '''Verbundentropie'''&nbsp; (englisch:&nbsp; "Joint Entropy")&nbsp; lässt sich mit der 2D–Wahrscheinlichkeitsfunktion&nbsp; $P_{XY}(X, Y)$&nbsp; als Erwartungswert wie folgt darstellen:
 :$$H(XY) = {\rm E} \left [ {\rm log} \hspace{0.1cm} \frac{1}{P_{XY}(X, Y)}\right ] = \sum_{\mu = 1}^{M}  \hspace{0.1cm} \sum_{\kappa = 1}^{K} \hspace{0.1cm}
@@ Zeile 317: / Zeile 317: @@
 Diese Ungleichung drückt folgenden Sachverhalt aus:
 *Das Gleichheitszeichen gilt nur für den Sonderfall statistisch unabhängiger Zufallsgrößen, wie im folgenden&nbsp; $\text{Beispiel 5}$&nbsp; anhand der Zufallsgrößen&nbsp; $R$&nbsp; und&nbsp; $B$&nbsp; demonstriert wird.&nbsp; Hierbei bezeichnen&nbsp; $R$&nbsp; und&nbsp; $B$&nbsp; wieder die Augenzahlen des roten bzw.  des blauen Würfels.
-*Gibt es dagegen statistische Abhängigkeiten wie im&nbsp; $\text{Beispiel 6}$&nbsp; zwischen den Zufallsgrößen&nbsp; $R$&nbsp; und&nbsp; $S = R + B$, so gilt in obiger Gleichung das „<”–Zeichen: &nbsp;
+*Gibt es dagegen wie im&nbsp; $\text{Beispiel 6}$&nbsp; statistische Abhängigkeiten zwischen den Zufallsgrößen&nbsp; $R$&nbsp; und&nbsp; $S = R + B$, so gilt in obiger Gleichung das „<”–Zeichen: &nbsp;
 :$$H(RS) < H(R) + H(S).$$

@@ Zeile 223: / Zeile 223: @@
 {{BlaueBox|TEXT=
-$\text{Definition:}$&nbsp; Die&nbsp; '''relative Entropie'''&nbsp; (englisch:&nbsp; ''Informational Divergence'')&nbsp; zwischen den durch&nbsp; $P_X(·)$&nbsp; und&nbsp; $P_Y(·)$&nbsp; definierten Zufallsgrößen ist wie folgt gegeben:
+$\text{Definition:}$&nbsp; Die&nbsp; '''relative Entropie'''&nbsp; (englisch:&nbsp; "Informational Divergence")&nbsp; zwischen den durch&nbsp; $P_X(·)$&nbsp; und&nbsp; $P_Y(·)$&nbsp; definierten Zufallsgrößen ist wie folgt gegeben:
 :$$D(P_X \hspace{0.05cm} \vert \vert  \hspace{0.05cm}P_Y) = {\rm E} \left [ {\rm log} \hspace{0.1cm} \frac{P_X(X)}{P_Y(X)}\right ] \hspace{0.2cm}=\hspace{0.2cm} \sum_{\mu = 1}^{M}
@@ Zeile 242: / Zeile 242: @@
 Wertet man die beiden obigen Gleichungen aus, so erkennt man folgende Eigenschaften:
-*Liegt die gleiche Verteilung vor  &nbsp; ⇒  &nbsp; $P_Y(·) ≡ P_X(·)$, so ist&nbsp; $D(P_X || P_Y) = 0$.&nbsp; In allen anderen Fällen ist&nbsp; $D(P_X || P_Y) > 0$.&nbsp; Gleiches gilt für die Variante&nbsp; $D(P_Y || P_X)$.
+*Liegt die gleiche Verteilung vor  &nbsp; ⇒  &nbsp; $P_Y(·) ≡ P_X(·)$,&nbsp; so ist&nbsp; $D(P_X || P_Y) = 0$.&nbsp; In allen anderen Fällen ist&nbsp; $D(P_X || P_Y) > 0$.&nbsp; Gleiches gilt für die Variante&nbsp; $D(P_Y || P_X)$.
 *Gilt&nbsp; $P_X(x_μ) ≠ 0$&nbsp; und&nbsp; $P_Y(x_μ) = 0$&nbsp; $($hierfür genügt ein einziges und beliebiges&nbsp; $μ)$, so ergibt sich für die Kullback–Leibler–Distanz&nbsp; $D(P_X || P_Y)$&nbsp; ein unendlich großer Wert.&nbsp; In diesem Fall ist&nbsp; $D(P_Y || P_X)$&nbsp; nicht notwendigerweise ebenfalls unendlich.
 *Diese Aussage macht nochmals deutlich, dass im allgemeinen&nbsp; $D(P_X || P_Y)$&nbsp; ungleich&nbsp; $D(P_Y || P_X)$&nbsp; sein wird.
-Anschließend werden diese beiden Definitionen an unserem Standardbeispiel&nbsp; &bdquo;Würfel–Experiment&bdquo;&nbsp; verdeutlicht.&nbsp; Gleichzeitig verweisen wir auf folgende Aufgaben:
+Anschließend werden diese beiden Definitionen an unserem Standardbeispiel&nbsp; &bdquo;Würfel–Experiment&rdquo;&nbsp; verdeutlicht.&nbsp; Gleichzeitig verweisen wir auf folgende Aufgaben:
 *[[Aufgabe_3.5:_Kullback-Leibler-Distanz_%26_Binominalverteilung|Aufgabe 3.5: Kullback–Leibler–Distanz & Binomialverteilung]]
 *[[Aufgaben:3.5Z_Nochmals_Kullback-Leibler-Distanz|Aufgabe 3.5Z: Nochmals Kullback–Leibler–Distanz]]
 *[[Aufgaben:3.6_Partitionierungsungleichung|A3.6: Partitionierungsungleichung]]
 {{GraueBox|TEXT=
-$\text{Beispiel 4:}$&nbsp; Für das Würfel–Experiment haben wir die Wahrscheinlichkeitsfunktionen&nbsp; $P_R(·)$&nbsp; und&nbsp; $P_B(·)$&nbsp; sowie deren Näherungen&nbsp; $Q_R(·)$&nbsp; und&nbsp; $Q_B(·)$&nbsp; definiert.
+$\text{Beispiel 4:}$&nbsp; Für das Würfel–Experiment haben wir im&nbsp; $\text{Beispiel 3}$&nbsp; die Wahrscheinlichkeitsfunktionen&nbsp; $P_R(·)$&nbsp; und&nbsp; $P_B(·)$&nbsp; sowie deren Näherungen&nbsp; $Q_R(·)$&nbsp; und&nbsp; $Q_B(·)$&nbsp; definiert.
-*Die Zufallsgröße&nbsp; $R$&nbsp; mit der PMF&nbsp;  $P_R(·)$&nbsp; gibt die Augenzahl des roten Würfels an und&nbsp; $B$&nbsp;  mit der PMF&nbsp;  $P_B(·)$&nbsp; die Augenzahl des blauen Würfels.
+*Die Zufallsgröße&nbsp; $R$&nbsp; mit PMF&nbsp;  $P_R(·)$&nbsp; gibt die Augenzahl des roten Würfels an und&nbsp; $B$&nbsp;  mit PMF&nbsp;  $P_B(·)$&nbsp; die des blauen.
-*Die Näherungen&nbsp; $Q_R(·)$&nbsp; und&nbsp; $Q_B(·)$&nbsp; ergeben sich aus dem früher beschriebenen Experiment mit&nbsp;  $N = 18$&nbsp; Doppelwürfen&nbsp; &rArr; &nbsp; [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Einf.C3.BChrungsbeispiel_zur_statistischen_Abh.C3.A4ngigkeit_von_Zufallsgr.C3.B6.C3.9Fen|$\text{Beispiel 1}$]] .
+*$Q_R(·)$&nbsp; und&nbsp; $Q_B(·)$&nbsp; ergeben sich aus dem früher beschriebenen Experiment mit&nbsp;  $N = 18$&nbsp; Doppelwürfen&nbsp; &rArr; &nbsp; [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Einf.C3.BChrungsbeispiel_zur_statistischen_Abh.C3.A4ngigkeit_von_Zufallsgr.C3.B6.C3.9Fen|$\text{Beispiel 1}$]] .
 Dann gilt:
 *Da&nbsp; $P_R(·)$&nbsp; und&nbsp; $P_B(·)$&nbsp; identisch sind, erhält man für die oben definierten Kullback–Leibler–Distanzen&nbsp; $D(P_R \vert \vert P_B)$&nbsp; und&nbsp; $D(P_B \vert \vert P_R)$&nbsp; jeweils den Wert Null.

@@ Zeile 136: / Zeile 136: @@
 ==Wahrscheinlichkeitsfunktion und Entropie==
 <br>
-In der wertdiskreten Informationstheorie genügt im Gegensatz zu übertragungstechnischen Problemen schon die Kenntnis der Wahrscheinlichkeitsfunktion&nbsp; $P_X(X)$, zum Beispiel zur Berechnung der&nbsp; [[Informationstheorie/Gedächtnislose_Nachrichtenquellen#Informationsgehalt_und_Entropie|Entropie]].
+In der wertdiskreten Informationstheorie genügt im Gegensatz zu übertragungstechnischen Problemen schon die Kenntnis der Wahrscheinlichkeitsfunktion&nbsp; $P_X(X)$,&nbsp; zum Beispiel zur Berechnung der&nbsp; [[Informationstheorie/Gedächtnislose_Nachrichtenquellen#Informationsgehalt_und_Entropie|Entropie]].
 {{BlaueBox|TEXT=
-$\text{Definition:}$&nbsp; Die&nbsp; '''Entropie'''&nbsp; einer diskreten Zufallsgröße&nbsp; $X$&nbsp; – also deren Unsicherheit für einen Beobachter – kann man mit der Wahrscheinlichkeitsfunktion&nbsp; $P_X(X)$&nbsp; wie folgt darstellen:
+$\text{Definition:}$&nbsp; Die&nbsp; $\rm Entropie$&nbsp; einer diskreten Zufallsgröße&nbsp; $X$&nbsp; – also deren Unsicherheit für einen Beobachter – kann man mit der Wahrscheinlichkeitsfunktion&nbsp; $P_X(X)$&nbsp; wie folgt darstellen:
 :$$H(X) = {\rm E} \big [ {\rm log} \hspace{0.1cm} \frac{1}{P_X(X)}\big ] \hspace{0.05cm}=\hspace{0.05cm}
@@ Zeile 146: / Zeile 146: @@
   P_X(x_{\mu}) \cdot {\rm log} \hspace{0.1cm} {P_X(x_{\mu})} \hspace{0.05cm}.$$
-Verwendet man den Logarithmus zur Basis&nbsp; $2$, also&nbsp; $\log_2$ (...) &nbsp;  ⇒ &nbsp; ''Logarithmus dualis'', so wird der Zahlenwert mit der Pseudo–Einheit „bit” versehen.&nbsp; $\rm E\big[$...$\big]$ gibt den Erwartungswert an. }}
+Verwendet man den Logarithmus zur Basis&nbsp; $2$, also&nbsp; $\log_2$ (...) &nbsp;  ⇒ &nbsp; &bdquo;Logarithmus dualis&rdquo;, so wird der Zahlenwert mit der Pseudo–Einheit „bit” versehen.&nbsp; $\rm E\big[$...$\big]$ gibt den Erwartungswert an. }}
@@ Zeile 165: / Zeile 165: @@
 {{BlaueBox|TEXT=
 $\text{Herleitung:}$&nbsp;
-Für ein allgemeines $M$ lässt sich dieses Ergebnis beispielsweise wie folgt herleiten – siehe&nbsp;  [Meck]<ref>Mecking, M.: Information Theory. Vorlesungsmanuskript, Lehrstuhl für Nachrichtentechnik, Technische Universität München, 2009.</ref>:
+Für ein allgemeines&nbsp; $M$&nbsp; lässt sich dieses Ergebnis beispielsweise wie folgt herleiten – siehe&nbsp;  [Meck]<ref>Mecking, M.: Information Theory. Vorlesungsmanuskript, Lehrstuhl für Nachrichtentechnik, Technische Universität München, 2009.</ref>:
 :$$H(X) = -{\rm E} \big [ {\rm log} \hspace{0.1cm} {P_X(X)}\big ] \hspace{0.2cm} \le \hspace{0.2cm}- {\rm log} \big [ {\rm E} \hspace{0.1cm} \left [{P_X(X)}\right ] \big ] \hspace{0.05cm}.$$
@@ Zeile 189: / Zeile 189: @@
 *Die Entropie&nbsp; $H(X)$&nbsp; bezieht sich stets auf die tatsächliche Wahrscheinlichkeitsfunktion&nbsp; $P_X(X)$&nbsp; der diskreten Zufallsgröße.&nbsp; Experimentell erhält man diese Größen erst nach&nbsp; $N → ∞$&nbsp; Versuchen.
 *Ermittelt man die Wahrscheinlichkeitsfunktion aus einer endlichen Zufallsfolge, so bezeichnen wir diese  Wahrscheinlichkeitsfunktion mit&nbsp; $Q_X(X)$&nbsp; und die daraus resultierende Entropie versehen wir mit dem Zusatz&nbsp; „$N =$ ...”.
-*Diese Entropie–Näherung basiert nicht auf Wahrscheinlichkeiten, sondern nur auf den&nbsp; [[Stochastische_Signaltheorie/Wahrscheinlichkeit_und_relative_Häufigkeit#Bernoullisches_Gesetz_der_gro.C3.9Fen_Zahlen|relativen Häufigkeiten]].&nbsp; Erst für&nbsp; $N → ∞$&nbsp; stimmt diese Näherung mit&nbsp; $H(X)$&nbsp; überein.}}
+*Diese Entropie–Näherung basiert nicht auf Wahrscheinlichkeiten, sondern auf&nbsp; [[Stochastische_Signaltheorie/Wahrscheinlichkeit_und_relative_Häufigkeit#Bernoullisches_Gesetz_der_gro.C3.9Fen_Zahlen|relativen Häufigkeiten]].&nbsp; Erst für&nbsp; $N → ∞$&nbsp; stimmt die Näherung mit&nbsp; $H(X)$&nbsp; überein.}}
 {{GraueBox|TEXT=
-$\text{Beispiel 3:}$&nbsp; Wir kommen auf unser&nbsp; &bdquo;Würfel–Experiment&rdquo;&nbsp; zurück.&nbsp; Die folgende Tabelle zeigt die Wahrscheinlichkeitsfunktionen&nbsp; $P_R(R)$&nbsp; und&nbsp; $P_B(B)$&nbsp; für den roten und den blauen Würfel sowie die Näherungen&nbsp; $Q_R(R)$&nbsp; und&nbsp; $Q_B(B)$, jeweils basierend auf dem Zufallsexperiment mit&nbsp; $N = 18$&nbsp; Würfen.&nbsp; Die relativen Häufigkeiten&nbsp; $Q_R(R)$&nbsp; und&nbsp; $Q_B(B)$&nbsp; ergeben sich aus den&nbsp; [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Einf.C3.BChrungsbeispiel_zur_statistischen_Abh.C3.A4ngigkeit_von_Zufallsgr.C3.B6.C3.9Fen|beispielhaften Zufallsfolgen]]&nbsp; von&nbsp; $\text{Beispiel 1}$.
+$\text{Beispiel 3:}$&nbsp; Wir kommen auf unser&nbsp; &bdquo;Würfel–Experiment&rdquo;&nbsp; zurück.
-[[Datei:P_ID2744__Inf_T_3_1_S3_neu.png|center|frame|Wahrscheinlichkeitsfunktionen unseres Würfelexperiments]]
+*Die Tabelle zeigt die Wahrscheinlichkeitsfunktionen&nbsp; $P_R(R)$&nbsp; und&nbsp; $P_B(B)$&nbsp; für den roten und den blauen Würfel sowie die Näherungen&nbsp; $Q_R(R)$&nbsp; und&nbsp; $Q_B(B)$,&nbsp; jeweils basierend auf dem Zufallsexperiment mit&nbsp; $N = 18$&nbsp; Würfen.&nbsp;
-Für die Zufallsgröße&nbsp; $R$&nbsp; gilt mit dem ''Logarithmus dualis''&nbsp; $($zur Basis&nbsp; $2)$:
 :$$H(R) = H(R) \big \vert_{N \hspace{0.05cm}\rightarrow \hspace{0.05cm}\infty} = \sum_{\mu = 1}^{6} 1/6 \cdot {\rm log}_2 \hspace{0.1cm} (6) = {\rm log}_2 \hspace{0.1cm} (6) = 2.585\ {\rm bit} \hspace{0.05cm},$$

@@ Zeile 106: / Zeile 106: @@
 <br>
 {{BlaueBox|TEXT=
-$\text{Definition:}$ &nbsp; Fasst man die&nbsp; $M$&nbsp; Wahrscheinlichkeiten einer diskreten Zufallsgröße&nbsp; $X$ &nbsp; ⇒ &nbsp; ${\rm Pr}( X = x_{\mu})$ ähnlich wie bei einem Vektor zusammen, so kommt man zur&nbsp; '''Wahrscheinlichkeitsfunktion'''&nbsp; (englisch:&nbsp; ''Probability Mass Function'',&nbsp; '''PMF'''):
+$\text{Definition:}$ &nbsp; Fasst man die&nbsp; $M$&nbsp; Wahrscheinlichkeiten einer diskreten Zufallsgröße&nbsp; $X$ &nbsp; ⇒ &nbsp; ${\rm Pr}( X = x_{\mu})$ ähnlich wie bei einem Vektor zusammen, so kommt man zur&nbsp; '''Wahrscheinlichkeitsfunktion'''&nbsp; $($englisch:&nbsp; "Probability Mass Function",&nbsp; $\rm PMF)$:
 :$$P_X(X) = \big [ \hspace{0.02cm} P_X(x_1), P_X(x_2), \hspace{0.05cm}\text{...} \hspace{0.15cm}, P_X(x_{\mu}),\hspace{0.05cm} \text{...}\hspace{0.15cm}, P_X(x_M) \hspace{0.02cm} \big ] \hspace{0.05cm}.$$
@@ Zeile 113: / Zeile 113: @@
-Im Buch&bdquo;Stochastische Signaltheorie&rdquo; haben wir mit der&nbsp; [[Stochastische_Signaltheorie/Wahrscheinlichkeitsdichtefunktion_(WDF)#Definition_der_Wahrscheinlichkeitsdichtefunktion|Wahrscheinlichkeitsdichtefunktion]]&nbsp; $($WDF, englisch:&nbsp; ''Probability Density Function'',&nbsp; '''PDF'''$)$&nbsp; eine ähnliche Beschreibungsgröße definiert und diese mit&nbsp; $f_X(x)$ &nbsp;bezeichnet.
+Im Buch&bdquo;Stochastische Signaltheorie&rdquo; haben wir mit der&nbsp; [[Stochastische_Signaltheorie/Wahrscheinlichkeitsdichtefunktion_(WDF)#Definition_der_Wahrscheinlichkeitsdichtefunktion|Wahrscheinlichkeitsdichtefunktion]]&nbsp; $\rm (WDF$, englisch:&nbsp; "Probability Density Function",&nbsp; $\rm PDF)$&nbsp; eine ähnliche Beschreibungsgröße definiert und diese mit&nbsp; $f_X(x)$&nbsp; bezeichnet.&nbsp; Zu beachten ist aber:
 *Die PDF eignet sich eher zur Charakterisierung kontinuierlicher Zufallsgrößen, wie zum Beispiel bei einer&nbsp; [[Stochastische_Signaltheorie/Gaußverteilte_Zufallsgrößen|Gaußverteilung]]&nbsp; oder einer [[Stochastische_Signaltheorie/Gleichverteilte_Zufallsgrößen|Gleichverteilung]].&nbsp; Erst durch die&nbsp; [[Stochastische_Signaltheorie/Wahrscheinlichkeitsdichtefunktion#WDF-Definition_f.C3.BCr_diskrete_Zufallsgr.C3.B6.C3.9Fen|Verwendung von Diracfunktionen]]&nbsp; wird die PDF auch für diskrete Zufallsgrößen anwendbar.
 *Die PMF liefert weniger Information über die Zufallsgröße als die PDF und kann zudem nur für diskrete Größen angegeben werden.&nbsp; Für die in diesem Kapitel betrachtete wertdiskrete Informationstheorie ist die PMF allerdings ausreichend.
@@ Zeile 125: / Zeile 123: @@
 :$$f_X(x) = 0.2 \cdot \delta(x+2) + 0.3 \cdot \delta(x - 1.5)+0.5 \cdot \delta(x - {\rm \pi}) \hspace{0.05cm}. $$
-Für die diskrete Zufallsgröße gilt somit&nbsp; $x ∈ X = \{–2,\ +1.5,\ +\pi \} $ &nbsp; ⇒ &nbsp; Symbolumfang&nbsp; $M = \vert X \vert = 3$, und die Wahrscheinlichkeitsfunktion (PMF) lautet:
+Für die diskrete Zufallsgröße gilt somit&nbsp; $x ∈ X = \{–2,\ +1.5,\ +\pi \} $ &nbsp; ⇒ &nbsp; Symbolumfang&nbsp; $M = \vert X \vert = 3$,&nbsp; und die Wahrscheinlichkeitsfunktion (PMF) lautet:
 :$$P_X(X) = \big [ \hspace{0.1cm}0.2\hspace{0.05cm}, 0.3\hspace{0.05cm}, 0.5 \hspace{0.1cm} \big] \hspace{0.05cm}. $$
 Man erkennt:
-*Die&nbsp; '''PMF'''&nbsp; liefert nur Informationen über die Wahrscheinlichkeiten&nbsp; $\text{Pr}(x_1)$,&nbsp; $\text{Pr}(x_2)$&nbsp; und&nbsp; $\text{Pr}(x_3)$.
+*Die&nbsp; $\rm PMF$&nbsp; liefert nur Informationen über die Wahrscheinlichkeiten&nbsp; $\text{Pr}(x_1)$,&nbsp; $\text{Pr}(x_2)$&nbsp; und&nbsp; $\text{Pr}(x_3)$.
-*Aus der&nbsp; '''PDF'''&nbsp; sind dagegen auch die möglichen Realisierungen&nbsp; $x_1$,&nbsp; $x_2$&nbsp; und&nbsp; $x_3$&nbsp; der Zufallsgröße&nbsp; $X$&nbsp; ablesbar.
+*Aus der&nbsp; $\rm PDF$&nbsp; sind dagegen auch die möglichen Realisierungen&nbsp; $x_1$,&nbsp; $x_2$&nbsp; und&nbsp; $x_3$&nbsp; der Zufallsgröße&nbsp; $X$&nbsp; ablesbar.
 *Die einzige Voraussetzung für die Zufallsgröße ist, dass sie reellwertig ist.
 *Die möglichen Werte&nbsp; $x_μ$&nbsp; müssen weder positiv, ganzzahlig, äquidistant noch rational sein. 	}}

@@ Zeile 42: / Zeile 42: @@
 [[Datei:P_ID2741__Inf_T_3_1_S1_neu.png|right|frame|Ergebnisprotokoll unseres Zufallsexperiments „Würfeln mit zwei Würfeln”]]
 {{GraueBox|TEXT=
-$\text{Beispiel 1:}$&nbsp; Wir gehen vom Experiment „Würfeln mit zwei Würfeln” aus, wobei beide Würfel (an der Farbe) unterscheidbar sind.&nbsp;
+$\text{Beispiel 1:}$&nbsp; Wir gehen vom Experiment „Würfeln mit zwei Würfeln” aus, wobei beide Würfel an der Farbe unterscheidbar sind.&nbsp;
 Die Tabelle zeigt als Ergebnis die ersten&nbsp; $N = 18$&nbsp; Wurfpaare dieses exemplarischen Zufallsexperiments.

@@ Zeile 40: / Zeile 40: @@
 ==Einführungsbeispiel zur statistischen Abhängigkeit von Zufallsgrößen ==
 <br>
 {{GraueBox|TEXT=
-$\text{Beispiel 1:}$&nbsp; Wir gehen vom Experiment „Würfeln mit zwei Würfeln” aus, wobei beide Würfel (an der Farbe) unterscheidbar sind.&nbsp; Die Tabelle zeigt als Ergebnis die ersten&nbsp; $N = 18$&nbsp; Wurfpaare dieses exemplarischen Zufallsexperiments.
+$\text{Beispiel 1:}$&nbsp; Wir gehen vom Experiment „Würfeln mit zwei Würfeln” aus, wobei beide Würfel (an der Farbe) unterscheidbar sind.&nbsp;
-''Hinweis'': &nbsp; Entsprechend der im&nbsp; [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Voraussetzungen_und_Nomenklatur|folgenden Abschnitt]]&nbsp;  erklärten Nomenklatur sind hier&nbsp; $R_ν$,&nbsp; $B_ν$&nbsp; und&nbsp; $S_ν$&nbsp; als Zufallsgrößen zu verstehen:
 *Die Zufallsgröße&nbsp; $R_3 \in  \{1, \ 2, \ 3, \ 4, \ 5, \ 6\}$&nbsp; gibt beispielsweise die Augenzahl des roten Würfels beim dritten Wurf als Wahrscheinlichkeitsereignis an.&nbsp; Die Angabe&nbsp; $R_3 = 6$&nbsp; sagt aus, dass bei der dokumentierten Realisierung der rote Würfel im dritten Wurf eine „6” gezeigt hat.
-*In Zeile 2 sind die Augenzahlen des roten Würfels&nbsp; $(R)$&nbsp; angegeben.&nbsp; Der Mittelwert dieser begrenzten Folge&nbsp; $〈R_1$, ... , $R_{18}〉$&nbsp; ist mit&nbsp; $3.39$&nbsp; etwas kleiner als der Erwartungswert&nbsp; ${\rm E}\big[R\big] = 3.5$.&nbsp; Die Zeile 3 zeigt die Augenzahlen des blauen Würfels&nbsp; $(B)$.&nbsp; Die Folge&nbsp; $〈B_1$, ... , $B_{18}〉$&nbsp; hat hierbei mit&nbsp; $3.61$&nbsp; einen etwas größeren Mittelwert als die unbegrenzte Folge   &nbsp; ⇒ &nbsp; ${\rm E}\big[B\big] = 3.5$.&nbsp;
+*In Zeile 2 sind die Augenzahlen des roten Würfels&nbsp; $(R)$&nbsp; angegeben.&nbsp; Der Mittelwert dieser begrenzten Folge&nbsp; $〈R_1$, ... , $R_{18}〉$&nbsp; ist mit&nbsp; $3.39$&nbsp; etwas kleiner als der Erwartungswert&nbsp; ${\rm E}\big[R\big] = 3.5$.&nbsp;
-*Die Zeile 4 beinhaltet die Summe&nbsp; $S_ν = R_ν + B_ν$.&nbsp; Der Mittelwert der Folge&nbsp; $〈S_1$, ... , $S_{18}〉$&nbsp; ist&nbsp; $3.39 + 3.61 = 7$.&nbsp; Dieser ist hier (zufällig) gleich dem Erwartungswert&nbsp; $\text{E}\big[S\big] = \text{E}\big[R\big] + \text{E}\big[B\big]$.
+*Die Zeile 3 zeigt die Augenzahlen des blauen Würfels&nbsp; $(B)$.&nbsp; Die Folge&nbsp; $〈B_1$, ... , $B_{18}〉$&nbsp; hat hierbei mit&nbsp; $3.61$&nbsp; einen etwas größeren Mittelwert als die unbegrenzte Folge   &nbsp; ⇒ &nbsp; ${\rm E}\big[B\big] = 3.5$.&nbsp;
 Nun stellt sich die Frage, zwischen welchen Zufallsgrößen es statistische Abhängigkeiten gibt:
 *Setzt man faire Würfel voraus, so bestehen zwischen den Folgen&nbsp; $〈 R\hspace{0.05cm} 〉$&nbsp; und&nbsp; $〈B \hspace{0.05cm}〉$&nbsp; – ob begrenzt oder unbegrenzt – keine statistischen Bindungen: &nbsp; Auch wenn man&nbsp; $R_ν$&nbsp; kennt, sind für&nbsp; $B_ν$&nbsp; weiterhin alle möglichen Augenzahlen&nbsp; $1$, ... , $6$&nbsp; gleichwahrscheinlich.
-*Kennt man aber&nbsp; $S_ν$, so sind sowohl Aussagen über&nbsp; $R_ν$&nbsp; als auch über&nbsp; $B_ν$&nbsp; möglich.&nbsp; Aus&nbsp; $S_{11} = 12$&nbsp; folgt direkt&nbsp; $R_{11} = B_{11} = 6$&nbsp; und die Summe&nbsp; $S_{15} = 2$&nbsp; zweier Würfel ist nur mit zwei Einsen möglich.&nbsp; Solche Abhängigkeiten bezeichnet man als&nbsp; ''deterministisch''.
+*Kennt man aber&nbsp; $S_ν$, so sind sowohl Aussagen über&nbsp; $R_ν$&nbsp; als auch über&nbsp; $B_ν$&nbsp; möglich.&nbsp; Aus&nbsp; $S_{11} = 12$&nbsp; folgt direkt&nbsp; $R_{11} = B_{11} = 6$&nbsp; und die Summe&nbsp; $S_{15} = 2$&nbsp; zweier Würfel ist nur mit zwei Einsen möglich.&nbsp; Solche Abhängigkeiten bezeichnet man als&nbsp; &raquo;deterministisch&laquo;.
-*Aus&nbsp; $S_7 = 10$&nbsp; lassen sich zumindest Bereiche für&nbsp; $R_7$&nbsp; und&nbsp; $B_7$&nbsp; angeben: &nbsp; $R_7 ≥ 4, \ B_7 ≥ 4$.&nbsp; Möglich sind dann nur die drei Wertepaare&nbsp; $(R_7 = 4) ∩ (B_7 = 6)$,&nbsp; $(R_7 = 5) ∩ (B_7 = 5)$&nbsp; sowie&nbsp; $(R_7 = 6) ∩ (B_7 = 4)$.&nbsp; Hier besteht kein deterministischer Zusammenhang zwischen den Zufallsgrößen&nbsp; $S_ν$&nbsp; und&nbsp; $R_ν$&nbsp; $($bzw.&nbsp; $B_ν)$, sondern vielmehr eine so genannte&nbsp; [[Stochastische_Signaltheorie/Statistische_Abhängigkeit_und_Unabhängigkeit#Allgemeine_Definition_von_statistischer_Abh.C3.A4ngigkeit|statistische Abhängigkeit]].
+*Aus&nbsp; $S_7 = 10$&nbsp; lassen sich zumindest Bereiche für&nbsp; $R_7$&nbsp; und&nbsp; $B_7$&nbsp; angeben: &nbsp; $R_7 ≥ 4, \ B_7 ≥ 4$.&nbsp; Möglich sind dann nur die drei Wertepaare&nbsp; $(R_7 = 4) ∩ (B_7 = 6)$,&nbsp; $(R_7 = 5) ∩ (B_7 = 5)$&nbsp; sowie&nbsp; $(R_7 = 6) ∩ (B_7 = 4)$.&nbsp; Hier besteht kein deterministischer Zusammenhang zwischen den Zufallsgrößen&nbsp; $S_ν$&nbsp; und&nbsp; $R_ν$&nbsp; $($bzw.&nbsp; $B_ν)$, sondern vielmehr eine so genannte&nbsp; [[Stochastische_Signaltheorie/Statistische_Abhängigkeit_und_Unabhängigkeit#Allgemeine_Definition_von_statistischer_Abh.C3.A4ngigkeit|&raquo;statistische Abhängigkeit&laquo;]].
-*Solche statistische Abhängigkeiten gibt es für&nbsp; $S_ν ∈ \{3, \ 4, \ 5, \ 6, \ 8, \ 9, \ 10, \ 11\}$.&nbsp; Ist dagegen die Summe&nbsp; $S_ν = 7$, so kann man daraus nicht auf&nbsp; $R_ν$&nbsp; und&nbsp; $B_ν$&nbsp; zurückgeschließen.&nbsp; Für beide Würfel sind dann alle möglichen Augenzahlen&nbsp; $1$, ... , $6$&nbsp; gleichwahrscheinlich.&nbsp; In diesem Fall bestehen auch keine statistischen Bindungen zwischen&nbsp; $S_ν$&nbsp; und&nbsp; $R_ν$&nbsp; bzw. zwischen&nbsp; $S_ν$&nbsp; und&nbsp; $B_ν$.}}
+*Solche statistische Abhängigkeiten gibt es für&nbsp; $S_ν ∈ \{3, \ 4, \ 5, \ 6, \ 8, \ 9, \ 10, \ 11\}$.&nbsp; Ist dagegen die Summe&nbsp; $S_ν = 7$, so kann man daraus nicht auf&nbsp; $R_ν$&nbsp; und&nbsp; $B_ν$&nbsp; zurückgeschließen.&nbsp; Für beide Würfel sind dann alle möglichen Augenzahlen&nbsp; $1$, ... , $6$&nbsp; gleichwahrscheinlich.&nbsp; In diesem Fall bestehen auch&nbsp;  &raquo;keine statistischen Bindungen&laquo;&nbsp; zwischen&nbsp; $S_ν$&nbsp; und&nbsp; $R_ν$&nbsp; bzw. zwischen&nbsp; $S_ν$&nbsp; und&nbsp; $B_ν$.}}
@@ Zeile 63: / Zeile 68: @@
 Wir betrachten im gesamten Kapitel  wertdiskrete Zufallsgrößen der Form&nbsp; $X = \{ x_1, \ x_2, \hspace{0.05cm}$ ... $\hspace{0.05cm},\ x_{\mu},\hspace{0.05cm}$ ... $\hspace{0.05cm},\ x_M \} \hspace{0.05cm},$&nbsp; und verwenden folgende Nomenklatur:
 *Die Zufallsgröße selbst wird stets mit einem Großbuchstaben bezeichnet.&nbsp; Der Kleinbuchstabe&nbsp; $x$&nbsp; weist auf eine mögliche Realisierung der Zufallsgröße&nbsp; $X$&nbsp;  hin.
-*Alle Realisierungen&nbsp; $x_μ$&nbsp; $($mit&nbsp; $μ = 1$, ... , $M)$&nbsp; sind reellwertig.&nbsp; $M$&nbsp; gibt den Symbolumfang&nbsp; (englisch:&nbsp; ''Symbol Set Size'')&nbsp; von&nbsp; $X$&nbsp; an.&nbsp; Anstelle von&nbsp; $M$&nbsp; verwenden wir manchmal auch&nbsp; $|X|$.
+*Alle Realisierungen&nbsp; $x_μ$&nbsp; $($mit&nbsp; $μ = 1$, ... , $M)$&nbsp; sind reellwertig.&nbsp; $M$&nbsp; gibt den Symbolumfang&nbsp; (englisch:&nbsp; &raquo;symbol set size&laquo;)&nbsp; von&nbsp; $X$&nbsp; an.&nbsp; Anstelle von&nbsp; $M$&nbsp; verwenden wir manchmal auch&nbsp; $|X|$.
 [[Datei:P_ID2743__Inf_T_3_1_S2.png|right|frame|Zusammenhang zwischen dem Wahrscheinlichkeitsraum&nbsp; ${\it \Omega}$&nbsp; und der Zufallsgröße&nbsp; $X$]]
+<br>Die Zufallsgröße&nbsp; $X$&nbsp; kann zum Beispiel durch die Transformation&nbsp; ${\it \Omega} → X$&nbsp; entstanden sein, wobei&nbsp; ${\it \Omega}$&nbsp; für den&nbsp;  &raquo;Wahrscheinlichkeitsraum eines Zufallsexperiments&laquo;&nbsp; steht.&nbsp;
 Die Grafik verdeutlicht eine solche Transformation:
@@ Zeile 76: / Zeile 79: @@
 \subset \cal{R}\hspace{0.05cm}.$$
-*Jedes Zufallsereignis&nbsp; $ω_i ∈ Ω$&nbsp; wird eindeutig einem reellen Zahlenwert&nbsp; $x_μ ∈ X ⊂ ℝ$&nbsp; zugeordnet.
+*Jedes Zufallsereignis&nbsp; $ω_i ∈ {\it \Omega}$&nbsp; wird eindeutig einem reellen Zahlenwert&nbsp; $x_μ ∈ X ⊂ \cal{R}$&nbsp; zugeordnet.
-*Im betrachteten Beispiel gilt für die Laufvariable&nbsp; $1 ≤ μ ≤ 4$, das heißt, der Symbolumfang beträgt&nbsp; $M = |X| = 4$.
+*Im Beispiel gilt für die Laufvariable&nbsp; $1 ≤ μ ≤ 4$ &nbsp; &rArr; &nbsp;  der Symbolumfang beträgt&nbsp; $M = |X| = 4$.
-*Die Abbildung ist aber nicht eineindeutig: &nbsp;  Die Realisierung&nbsp; $x_3 ∈ X$&nbsp; könnte sich im Beispiel aus dem Elementarereignis&nbsp; $ω_4$&nbsp; ergeben haben, aber auch aus&nbsp; $ω_6$&nbsp; $($oder aus einigen anderen der unendlich vielen, in der Grafik nicht eingezeichneten Elementarereignisse&nbsp; $ω_i)$.
+*Die Abbildung ist aber nicht&nbsp;  &raquo;eineindeutig&laquo;: &nbsp;
 <br clear=all>
 {{BlaueBox|TEXT=