Informationstheorie/Verschiedene Entropien zweidimensionaler Zufallsgrößen - Versionsgeschichte

Guenter am 19. Juli 2021 um 15:25 Uhr

2021-07-19T15:25:41Z

Guenter am 19. Juli 2021 um 15:23 Uhr

2021-07-19T15:23:13Z

Guenter am 19. Juli 2021 um 15:02 Uhr

2021-07-19T15:02:29Z

Guenter am 19. Juli 2021 um 14:50 Uhr

2021-07-19T14:50:42Z

Guenter am 19. Juli 2021 um 13:37 Uhr

2021-07-19T13:37:47Z

Guenter am 18. Juli 2021 um 15:58 Uhr

2021-07-18T15:58:43Z

Guenter am 31. Januar 2020 um 11:42 Uhr

2020-01-31T11:42:16Z

Änderungen zeigen

Guenter am 31. Januar 2020 um 11:15 Uhr

2020-01-31T11:15:55Z

Änderungen zeigen

Guenter am 9. Oktober 2018 um 15:03 Uhr

2018-10-09T15:03:03Z

Guenter am 9. Oktober 2018 um 14:57 Uhr

2018-10-09T14:57:44Z

@@ Zeile 106: / Zeile 106: @@
 \hspace{0.05cm}.$$
-$\rm Rechts$&nbsp; ist&nbsp; $P_{R\vert S}(⋅) = P_{RS}(⋅)/P_S(⋅)$&nbsp; angegeben, wobei&nbsp; $P_S(⋅)$&nbsp; gemäß $\text{Beispiel 6}$&nbsp; einzusetzen ist.&nbsp;
+$\rm Rechts$&nbsp; ist&nbsp; $P_{R\vert S}(⋅) = P_{RS}(⋅)/P_S(⋅)$&nbsp; angegeben, wobei&nbsp; $P_S(⋅)$&nbsp; gemäß&nbsp; [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Verbundwahrscheinlichkeit_und_Verbundentropie|$\text{Beispiel 6}$]]&nbsp; einzusetzen ist.&nbsp;
 *Es  ergeben sich die gleichen Felder ungleich Null &nbsp; ⇒ &nbsp; $\text{supp}(P_{R\vert S}) = \text{supp}(P_{S\vert R})$.&nbsp;
 * Die Wahrscheinlichkeitswerte nehmen nun aber von der Mitte&nbsp; $(1/6)$&nbsp; zu den Rändern hin bis zur Wahrscheinlichkeit&nbsp; $1$&nbsp; in den Ecken kontinuierlich zu.&nbsp; Daraus folgt:

@@ Zeile 276: / Zeile 276: @@
 {{GraueBox|TEXT=
-$\text{Beispiel 5:}$&nbsp;  Wir betrachten die&nbsp; [[Stochastische_Signaltheorie/Markovketten|Markovkette]] &nbsp; $X → Y → Z$.&nbsp; Für eine solche Konstellation gilt stets das&nbsp; ''Data Processing Theorem''&nbsp; mit der folgenden Konsequenz, die sich aus der Kettenregel der Transinformation ableiten lässt:
+$\text{Beispiel 5:}$&nbsp;  Wir betrachten die&nbsp; [[Stochastische_Signaltheorie/Markovketten|Markovkette]] &nbsp; $X → Y → Z$.&nbsp; Für eine solche Konstellation gilt stets das&nbsp; '''Data Processing Theorem'''&nbsp; mit der folgenden Konsequenz, die sich aus der Kettenregel der Transinformation ableiten lässt:
 :$$I(X;Z) \hspace{-0.05cm}  \le  \hspace{-0.05cm}I(X;Y ) \hspace{0.05cm},$$
@@ Zeile 282: / Zeile 282: @@
 Das Theorem besagt somit:
-*Man kann durch Manipulation&nbsp; $($''Processing''&nbsp; $Z)$&nbsp; der Daten&nbsp; $Y$&nbsp; keine zusätzliche Information über den Eingang&nbsp; $X$&nbsp; gewinnen.
+*Man kann durch Manipulation&nbsp; $($"Processing"&nbsp; $Z)$&nbsp; der Daten&nbsp; $Y$&nbsp; keine zusätzliche Information über den Eingang&nbsp; $X$&nbsp; gewinnen.
 *Die Datenverarbeitung&nbsp; $Y → Z$&nbsp; $($durch einen zweiten Prozessor$)$ dient nur dem Zweck, die Information über&nbsp; $X$&nbsp; besser sichtbar zu machen.
-Weitere Informationen zum&nbsp; ''Data Processing Theorem''&nbsp; finden Sie in der&nbsp; [[Aufgaben:Aufgabe_3.15:_Data_Processing_Theorem|Aufgabe 3.15]].}}
+Weitere Informationen zum&nbsp; "Data Processing Theorem"&nbsp; finden Sie in der&nbsp; [[Aufgaben:Aufgabe_3.15:_Data_Processing_Theorem|Aufgabe 3.15]].}}

@@ Zeile 197: / Zeile 197: @@
 {{BlaueBox|TEXT=
-$\text{Definition:}$&nbsp; Die&nbsp; '''bedingte Transinformation'''&nbsp; (englisch:&nbsp; ''Conditional Mutual Information'')&nbsp; zwischen den Zufallsgrößen&nbsp; $X$&nbsp; und&nbsp; $Y$&nbsp; bei gegebenem&nbsp; $Z = z$&nbsp; lautet:
+$\text{Definition:}$&nbsp; Die&nbsp; '''bedingte Transinformation'''&nbsp; (englisch:&nbsp; "Conditional Mutual Information")&nbsp; zwischen den Zufallsgrößen&nbsp; $X$&nbsp; und&nbsp; $Y$&nbsp; '''bei gegebenem'''&nbsp; $Z = z$&nbsp; lautet:
 :$$I(X;Y \hspace{0.05cm}\vert\hspace{0.05cm} Z = z) =  H(X\hspace{0.05cm}\vert\hspace{0.05cm} Z = z) - H(X\vert\hspace{0.05cm}Y ,\hspace{0.05cm} Z = z) \hspace{0.05cm}.$$
-Man bezeichnet als die&nbsp; '''bedingte Transinformation'''&nbsp; zwischen den Zufallsgrößen&nbsp; $X$&nbsp; und&nbsp; $Y$&nbsp; für die Zufallsgröße&nbsp; $Z$&nbsp; allgemein nach Mittelung über alle&nbsp; $z \in Z$:
+Man bezeichnet als die&nbsp; '''bedingte Transinformation'''&nbsp; zwischen den Zufallsgrößen&nbsp; $X$&nbsp; und&nbsp; $Y$&nbsp; für die Zufallsgröße&nbsp; $Z$&nbsp; '''allgemein''' nach Mittelung über alle&nbsp; $z \in Z$:
 :$$I(X;Y \hspace{0.05cm}\vert\hspace{0.05cm} Z ) =  H(X\hspace{0.05cm}\vert\hspace{0.05cm} Z ) - H(X\vert\hspace{0.05cm}Y  Z )= \hspace{-0.3cm}
@@ Zeile 208: / Zeile 208: @@
 \hspace{0.05cm}.$$
-$P_Z(Z)$&nbsp; ist die Wahrscheinlichkeitsfunktion (PMF) der Zufallsgröße&nbsp; $Z$&nbsp; und&nbsp; $P_Z(z)$&nbsp; die Wahrscheinlichkeit für die Realisierung&nbsp; $Z = z$.}}
+$P_Z(Z)$&nbsp; ist die Wahrscheinlichkeitsfunktion&nbsp; $\rm (PMF)$&nbsp; der Zufallsgröße&nbsp; $Z$&nbsp; und&nbsp; $P_Z(z)$&nbsp; die Wahrscheinlichkeit für die Realisierung&nbsp; $Z = z$.}}
@@ Zeile 233: / Zeile 233: @@
 [[Datei:P_ID2826__Inf_T_3_2_S4b.png|right|frame|Bedingte  2D–PMF $P_{X\hspace{0.05cm}\vert\hspace{0.05cm}YZ}$]]
 <br><br>Aus der bedingten Wahrscheinlichkeitsfunktion&nbsp; $P_{X\vert YZ}$&nbsp; gemäß der unteren Grafik lassen sich berechnen:
-* $H(X\hspace{0.05cm}\vert\hspace{0.05cm} YZ) = 0$,&nbsp; da alle&nbsp; $P_{X\hspace{0.05cm}\vert\hspace{0.05cm} YZ}$–Einträge entweder&nbsp; $0$&nbsp; oder&nbsp; $1$&nbsp; sind  &nbsp;  ⇒ &nbsp;  ''bedingte Entropie'',
+* $H(X\hspace{0.05cm}\vert\hspace{0.05cm} YZ) = 0$,&nbsp; da alle&nbsp; $P_{X\hspace{0.05cm}\vert\hspace{0.05cm} YZ}$–Einträge entweder&nbsp; $0$&nbsp; oder&nbsp; $1$&nbsp; sind  &nbsp;  ⇒ &nbsp;  &bdquo;bedingte Entropie&rdquo;,
-* $I(X; YZ) = H(X) - H(X\hspace{0.05cm}\vert\hspace{0.05cm} YZ) = H(X)= 1 \ {\rm bit}$ &nbsp;  ⇒ &nbsp;   ''Transinformation'',
+* $I(X; YZ) = H(X) - H(X\hspace{0.05cm}\vert\hspace{0.05cm} YZ) = H(X)= 1 \ {\rm bit}$ &nbsp;  ⇒ &nbsp;   &bdquo;Transinformation&rdquo;,
-* $I(X; Y\vert Z) = H(X\hspace{0.05cm}\vert\hspace{0.05cm} Z) =H(X)=1 \ {\rm bit} $  &nbsp;  ⇒ &nbsp;   ''bedingte Transinformation''.
+* $I(X; Y\vert Z) = H(X\hspace{0.05cm}\vert\hspace{0.05cm} Z) =H(X)=1 \ {\rm bit} $  &nbsp;  ⇒ &nbsp;   &bdquo;bedingte Transinformation&rdquo;.
-Im vorliegenden Beispiel ist also
+'''Im vorliegenden Beispiel ist'''&nbsp; also
-*die bedingte Transinformation $I(X; Y\hspace{0.05cm}\vert\hspace{0.05cm} Z) = 1$
+*'''die bedingte Transinformation'''&nbsp; $I(X; Y\hspace{0.05cm}\vert\hspace{0.05cm} Z) = 1$
-*größer als die herkömmliche Transinformation &nbsp;$I(X; Y) = 0$. }}
+*'''größer als die herkömmliche Transinformation'''&nbsp; &nbsp;$I(X; Y) = 0$. }}

@@ Zeile 95: / Zeile 95: @@
 Außen sind die beiden bedingten Wahrscheinlichkeitsfunktionen dargestellt:
-Links angegeben ist die bedingte Wahrscheinlichkeitsfunktion&nbsp; $P_{S \vert R}(⋅) = P_{SR}(⋅)/P_R(⋅)$.&nbsp;
+$\rm Links$&nbsp; angegeben ist die bedingte Wahrscheinlichkeitsfunktion&nbsp;
 *Wegen&nbsp; $P_R(R) = \big [1/6, \ 1/6, \ 1/6, \ 1/6, \ 1/6, \ 1/6 \big ]$&nbsp; steht hier in allen schraffierten Feldern &nbsp; ⇒ &nbsp; $\text{supp}(P_{S\vert R}) = \text{supp}(P_{R\vert S})$&nbsp; der gleiche Wahrscheinlichkeitswert&nbsp; $1/6$.&nbsp;
 *Daraus folgt für die bedingte Entropie:
@@ Zeile 105: / Zeile 106: @@
 \hspace{0.05cm}.$$
-Rechts ist&nbsp; $P_{R\vert S}(⋅) = P_{RS}(⋅)/P_S(⋅)$&nbsp; mit&nbsp; $P_S(⋅)$&nbsp; gemäß $\text{Beispiel 6}$&nbsp; angegeben.&nbsp;
+$\rm Rechts$&nbsp; ist&nbsp; $P_{R\vert S}(⋅) = P_{RS}(⋅)/P_S(⋅)$&nbsp; angegeben, wobei&nbsp; $P_S(⋅)$&nbsp; gemäß $\text{Beispiel 6}$&nbsp; einzusetzen ist.&nbsp;
-*Es  ergeben sich die gleichen Felder ungleich Null &nbsp; ⇒ &nbsp; $\text{supp}(P_{R\vert S}) = \text{supp}(P_{S\vert R})$.&nbsp; Die Wahrscheinlichkeitswerte nehmen nun aber von der Mitte&nbsp; $(1/6)$&nbsp; zu den Rändern hin bis zur Wahrscheinlichkeit&nbsp; $1$&nbsp; in den Ecken kontinuierlich zu.
+*Es  ergeben sich die gleichen Felder ungleich Null &nbsp; ⇒ &nbsp; $\text{supp}(P_{R\vert S}) = \text{supp}(P_{S\vert R})$.&nbsp;
-*Daraus folgt:
+* Die Wahrscheinlichkeitswerte nehmen nun aber von der Mitte&nbsp; $(1/6)$&nbsp; zu den Rändern hin bis zur Wahrscheinlichkeit&nbsp; $1$&nbsp; in den Ecken kontinuierlich zu.&nbsp; Daraus folgt:
 :$$H(R \hspace{-0.1cm}\mid \hspace{-0.13cm} S)  = \frac{1}{36} \cdot {\rm log}_2 \hspace{0.1cm} (6) +
@@ Zeile 131: / Zeile 132: @@
 {{BlaueBox|TEXT=
-$\text{Definition:}$&nbsp; Die&nbsp; '''Transinformation'''&nbsp; (englisch:&nbsp; ''Mutual Information'')&nbsp; zwischen den Zufallsgrößen&nbsp; $X$&nbsp; und&nbsp; $Y$ – beide über dem gleichen Alphabet – ist wie folgt gegeben:
+$\text{Definition:}$&nbsp; Die&nbsp; '''Transinformation'''&nbsp; (englisch:&nbsp; "Mutual Information")&nbsp; zwischen den Zufallsgrößen&nbsp; $X$&nbsp; und&nbsp; $Y$ – beide über dem gleichen Alphabet – ist wie folgt gegeben:
 :$$I(X;\ Y) = {\rm E} \hspace{-0.1cm}\left [ {\rm log}_2 \hspace{0.08cm} \frac{P_{XY}(X, Y)}
@@ Zeile 145: / Zeile 146: @@
-Sucht man in einem Wörterbuch die Übersetzung für „mutual”, so findet man unter Anderem die Begriffe „gemeinsam”, „gegenseitig”, „beidseitig” und „wechselseitig”.&nbsp; Und ebenso sind in Fachbüchern für&nbsp; $I(X; Y)$&nbsp; auch die Bezeichnungen&nbsp; ''gemeinsame Entropie''&nbsp; und&nbsp; ''gegenseitige Entropie''&nbsp; üblich.&nbsp; Wir sprechen aber im Folgenden durchgängig von der&nbsp; ''Transinformation''&nbsp; $I(X; Y)$&nbsp; und versuchen nun eine Interpretation dieser Größe:
+Sucht man in einem Wörterbuch die Übersetzung für „mutual”, so findet man unter Anderem die Begriffe „gemeinsam”, „gegenseitig”, „beidseitig” und „wechselseitig”.&nbsp; Und ebenso sind in Fachbüchern für&nbsp; $I(X; Y)$&nbsp; auch die Bezeichnungen&nbsp; „gemeinsame Entropie”&nbsp; und&nbsp; „'gegenseitige Entropie”&nbsp; üblich.&nbsp; Wir sprechen aber im Folgenden durchgängig von der&nbsp; „Transinformation”&nbsp; $I(X; Y)$&nbsp; und versuchen nun eine Interpretation dieser Größe:
 *Durch Aufspalten des&nbsp; $\log_2$–Arguments entsprechend
@@ Zeile 184: / Zeile 185: @@
 Diese Größen sind in der Grafik zusammengestellt, wobei die Zufallsgröße&nbsp; $R$&nbsp; durch die Grundfarbe „Rot” und die Summe&nbsp; $S$&nbsp; durch die Grundfarbe „Grün” markiert sind.&nbsp; Bedingte Entropien sind schraffiert.
 Man erkennt aus dieser Darstellung:
-*Die Entropie&nbsp; $H(R) = \log_2 (6) = 2.585\ \rm bit$&nbsp; ist genau halb so groß wie die Verbundentropie&nbsp; $H(RS)$.&nbsp; Denn:&nbsp; Kennt man&nbsp; $R$, so liefert&nbsp; $S$&nbsp; genau die gleiche Information wie die Zufallsgröße&nbsp; $B$, nämlich&nbsp; $H(S \hspace{0.05cm} \vert \hspace{0.05cm}  R) = H(B) = \log_2 (6) = 2.585\ \rm bit$.&nbsp; ''Hinweis'': &nbsp; $H(R)$ = $H(S \hspace{0.05cm} \vert \hspace{0.05cm}  R)$&nbsp; gilt allerdings nur in diesem Beispiel, nicht allgemein.
+*Die Entropie&nbsp; $H(R) = \log_2 (6) = 2.585\ \rm bit$&nbsp; ist genau halb so groß wie die Verbundentropie&nbsp; $H(RS)$.&nbsp; Denn:&nbsp; Kennt man&nbsp; $R$, so liefert&nbsp; $S$&nbsp; genau die gleiche Information wie die Zufallsgröße&nbsp; $B$, nämlich&nbsp; $H(S \hspace{0.05cm} \vert \hspace{0.05cm}  R) = H(B) = \log_2 (6) = 2.585\ \rm bit$.&nbsp;
 *Die Entropie&nbsp; $H(S) = 3.274 \ \rm bit$&nbsp; ist im vorliegenden Beispiel erwartungsgemäß größer als&nbsp; $H(R)= 2.585\ \rm bit$.&nbsp; Wegen&nbsp; $H(S) + H(R \hspace{0.05cm} \vert \hspace{0.05cm}  S) = H(R) + H(S \hspace{0.05cm} \vert \hspace{0.05cm}  R)$&nbsp; muss deshalb&nbsp; $H(R \hspace{0.05cm} \vert \hspace{0.05cm}  S)$&nbsp; gegenüber&nbsp; $H(S \hspace{0.05cm} \vert \hspace{0.05cm} R)$&nbsp; um den gleichen Betrag&nbsp; $I(R;\ S) = 0.689 \ \rm bit$&nbsp; kleiner sein als&nbsp; $H(R)$&nbsp; gegenüber&nbsp; $H(S)$.
-*Die Transinformation&nbsp; (englisch:&nbsp; ''Mutual Information'')&nbsp; zwischen den Zufallsgrößen&nbsp; $R$&nbsp; und&nbsp; $S$&nbsp; ergibt sich aber auch aus der Gleichung
+*Die Transinformation&nbsp; (englisch:&nbsp; '''Mutual Information''')&nbsp; zwischen den Zufallsgrößen&nbsp; $R$&nbsp; und&nbsp; $S$&nbsp; ergibt sich aber auch aus der Gleichung
 :$$I(R;\ S) = H(R) + H(S) - H(RS) =  2.585\ {\rm bit} + 3.274\ {\rm bit} - 5.170\ {\rm bit} = 0.689\ {\rm bit} \hspace{0.05cm}. $$}}

@@ Zeile 65: / Zeile 65: @@
 {{BlaueBox|TEXT=
 $\text{Definitionen:}$&nbsp;
-*Die&nbsp; '''bedingte Entropie'''&nbsp; (englisch:&nbsp; ''Conditional Entropy'')&nbsp; der Zufallsgröße&nbsp; $X$&nbsp; unter der Bedingung&nbsp; $Y$&nbsp; lautet:
+*Die&nbsp; '''bedingte Entropie'''&nbsp; (englisch:&nbsp; "Conditional Entropy")&nbsp; der Zufallsgröße&nbsp; $X$&nbsp; unter der Bedingung&nbsp; $Y$&nbsp; lautet:
 :$$H(X \hspace{-0.05cm}\mid \hspace{-0.05cm} Y) = {\rm E} \hspace{-0.1cm}\left [ {\rm log}_2 \hspace{0.1cm}\frac{1}{P_{\hspace{0.03cm}X \mid \hspace{0.03cm} Y} (X \hspace{-0.05cm}\mid \hspace{-0.05cm} Y)}\right ] = \hspace{-0.2cm} \sum_{(x, y) \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} (P_{XY}\hspace{-0.08cm})}
@@ Zeile 89: / Zeile 89: @@
 {{GraueBox|TEXT=
-$\text{Beispiel 2:}$&nbsp; Wir betrachten die Verbundwahrscheinlichkeiten&nbsp; $P_{RS}(·)$&nbsp; unseres Würfelexperiments, die im&nbsp; [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Verbundwahrscheinlichkeit_und_Verbundentropie|letzten Kapitel]]&nbsp; als&nbsp; $\text{Beispiel 6}$&nbsp; ermittelt wurden.&nbsp; In der Mitte der folgenden Grafik ist&nbsp; $P_{RS}(·)$&nbsp; nochmals angegeben.
+$\text{Beispiel 2:}$&nbsp; Wir betrachten die Verbundwahrscheinlichkeiten&nbsp; $P_{RS}(·)$&nbsp; unseres Würfelexperiments, die im&nbsp; [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Verbundwahrscheinlichkeit_und_Verbundentropie|letzten Kapitel]]&nbsp; als&nbsp; $\text{Beispiel 6}$&nbsp; ermittelt wurden.&nbsp; In der Mitte der folgenden Grafik ist die damals berechnete Verbundwahrscheinlichkeit&nbsp; $P_{RS}(·)$&nbsp; nochmals angegeben.
-[[Datei:P_ID2764__Inf_T_3_2_S3.png|center|frame|Verbundwahrscheinlichkeiten&nbsp; $P_{RS}$&nbsp; und bedingte Wahrscheinlichkeiten&nbsp;  $P_{S \vert R}$&nbsp; und&nbsp; $P_{R \vert S}$]]
+[[Datei:P_ID2764__Inf_T_3_2_S3.png|right|frame|Verbundwahrscheinlichkeiten&nbsp; $P_{RS}$&nbsp; und bedingte Wahrscheinlichkeiten&nbsp;  $P_{S \vert R}$&nbsp; und&nbsp; $P_{R \vert S}$]]
-Außen sind die beiden bedingten Wahrscheinlichkeitsfunktionen gezeichnet:
+Außen sind die beiden bedingten Wahrscheinlichkeitsfunktionen dargestellt:
-*Links angegeben ist die bedingte Wahrscheinlichkeitsfunktion&nbsp; $P_{S \vert R}(⋅) = P_{SR}(⋅)/P_R(⋅)$.&nbsp; Wegen&nbsp; $P_R(R) = \big [1/6, \ 1/6, \ 1/6, \ 1/6, \ 1/6, \ 1/6 \big ]$&nbsp; steht hier in allen schraffierten Feldern &nbsp; ⇒ &nbsp; $\text{supp}(P_{S\vert R}) = \text{supp}(P_{R\vert S})$&nbsp; der gleiche Wahrscheinlichkeitswert&nbsp; $1/6$.&nbsp; Daraus folgt für die bedingte Entropie:
 :$$H(S \hspace{-0.1cm}\mid \hspace{-0.13cm} R) = \hspace{-0.2cm} \sum_{(r, s) \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} (P_{RS})}
-  \hspace{-0.6cm} P_{RS}(r, s) \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{P_{\hspace{0.03cm}S \hspace{0.03cm} \mid \hspace{0.03cm} R} (s \hspace{-0.05cm}\mid \hspace{-0.05cm} r)} =
+  \hspace{-0.6cm} P_{RS}(r, s) \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{P_{\hspace{0.03cm}S \hspace{0.03cm} \mid \hspace{0.03cm} R} (s \hspace{-0.05cm}\mid \hspace{-0.05cm} r)} $$
 \cdot \frac{1}{36} \cdot {\rm log}_2 \hspace{0.1cm} (6) = 2.585\ {\rm bit}
 \hspace{0.05cm}.$$
-*Rechts ist die bedingte Wahrscheinlichkeitsfunktion&nbsp; $P_{R\vert S}(⋅) = P_{RS}(⋅)/P_S(⋅)$&nbsp; mit&nbsp; $P_S(⋅)$&nbsp; gemäß $\text{Beispiel 6}$&nbsp; angegeben.&nbsp; Es  ergeben sich die gleichen Felder ungleich Null &nbsp; ⇒ &nbsp; $\text{supp}(P_{R\vert S}) = \text{supp}(P_{S\vert R})$.&nbsp; Die Wahrscheinlichkeitswerte nehmen nun aber von der Mitte&nbsp; $(1/6)$&nbsp; zu den Rändern hin bis zur Wahrscheinlichkeit&nbsp; $1$&nbsp; in den Ecken kontinuierlich zu. Daraus folgt:
+Rechts ist&nbsp; $P_{R\vert S}(⋅) = P_{RS}(⋅)/P_S(⋅)$&nbsp; mit&nbsp; $P_S(⋅)$&nbsp; gemäß $\text{Beispiel 6}$&nbsp; angegeben.&nbsp;
 :$$H(R \hspace{-0.1cm}\mid \hspace{-0.13cm} S)  = \frac{1}{36} \cdot {\rm log}_2 \hspace{0.1cm} (6) +

@@ Zeile 12: / Zeile 12: @@
 :$${\rm supp} (P_{XY}) = \big \{ \hspace{0.05cm}(x,\ y) \in XY \hspace{0.05cm},
-\hspace{0.3cm} {\rm wobei} \hspace{0.15cm} P_{XY}(X,\ Y) \ne 0 \hspace{0.05cm} \big \} \hspace{0.05cm};$$
+\hspace{0.3cm} {\rm wobei} \hspace{0.15cm} P_{XY}(X,\ Y) \ne 0 \hspace{0.05cm} \big \} \hspace{0.05cm}.$$
 {{BlaueBox|TEXT=
-$\text{Zusammenfassende Darstellung des letzten Kapitels:}$&nbsp;
+$\text{Zusammenfassende Darstellung des letzten Kapitels:}$&nbsp; Mit dieser Teilmenge&nbsp; $\text{supp}(P_{XY}) ⊂ P_{XY}$&nbsp; gilt für
+*die&nbsp; '''Verbundentropie'''&nbsp; (englisch:&nbsp; "Joint Entropy"):
 :$$H(XY) = {\rm E}\hspace{-0.1cm} \left [ {\rm log}_2 \hspace{0.1cm} \frac{1}{P_{XY}(X, Y)}\right ] =\hspace{-0.2cm} \sum_{(x, y) \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} (P_{XY}\hspace{-0.05cm})}
@@ Zeile 46: / Zeile 44: @@
-gibt es&nbsp; $6 · 11 = 66$ Felder, von denen allerdings viele leer sind, also für die  Wahrscheinlichkeit &bdquo;0&rdquo; stehen.
+gibt es&nbsp; $6 · 11 = 66$ Felder, von denen allerdings viele leer sind, also für die  Wahrscheinlichkeit&nbsp; &bdquo;0&rdquo;&nbsp; stehen.
 *Die Teilmenge&nbsp; $\text{supp}(P_{RS})$&nbsp; beinhaltet dagegen nur die&nbsp; $36$&nbsp; schraffierten Felder mit von Null verschiedenen Wahrscheinlichkeiten.
-*Die Entropie bleibt gleich, ganz egal, ob man die Mittelung über alle Elemente von&nbsp; $P_{RS}$&nbsp; oder nur über die Elemente von&nbsp; $\text{supp}(P_{RS})$ erstreckt, da für&nbsp; $x → 0$&nbsp; der Grenzwert&nbsp; $x · \log_2 ({1}/{x}) = 0$&nbsp;  ist.}}
+*Die Entropie bleibt gleich, ganz egal, ob man die Mittelung über alle Elemente von&nbsp; $P_{RS}$&nbsp; oder nur über die Elemente von&nbsp; $\text{supp}(P_{RS})$&nbsp; erstreckt,&nbsp; da für&nbsp; $x → 0$&nbsp; der Grenzwert&nbsp; $x · \log_2 ({1}/{x}) = 0$&nbsp;  ist.}}

@@ Zeile 268: / Zeile 268: @@
 {{GraueBox|TEXT=
-$\text{Beispiel 5:}$&nbsp;  Wir betrachten die [[Stochastische_Signaltheorie/Markovketten|Markovkette]] $X → Y → Z$. Für eine solche Konstellation gilt stets das ''Data Processing Theorem'' mit der folgenden Konsequenz, die sich aus der Kettenregel der Transinformation ableiten lässt:
+$\text{Beispiel 5:}$&nbsp;  Wir betrachten die [[Stochastische_Signaltheorie/Markovketten|Markovkette]] &nbsp; $X → Y → Z$. Für eine solche Konstellation gilt stets das ''Data Processing Theorem'' mit der folgenden Konsequenz, die sich aus der Kettenregel der Transinformation ableiten lässt:
 :$$I(X;Z) \hspace{-0.05cm}  \le  \hspace{-0.05cm}I(X;Y ) \hspace{0.05cm},$$

@@ Zeile 109: / Zeile 109: @@
 \frac{2}{36} \cdot  \sum_{i=1}^5 \big [ i \cdot {\rm log}_2 \hspace{0.1cm} (i) \big ]= 1.896\,{\rm bit} \hspace{0.05cm}.$$
-Für die bedingten Wahrscheinlichkeiten der 2D&ndash;Zufallsgröße $RB$ gemäß $\text{Beispiel 5}$ erhält man  dagegen wegen $P_{RB}(⋅) = P_R(⋅) · P_B(⋅)$:
+Für die bedingten Wahrscheinlichkeiten der 2D&ndash;Zufallsgröße $RB$ gemäß [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Verbundwahrscheinlichkeit_und_Verbundentropie|$\text{Beispiel 5}$]] erhält man  dagegen wegen $P_{RB}(⋅) = P_R(⋅) · P_B(⋅)$:
 :$$\begin{align*}H(B \hspace{-0.1cm}\mid \hspace{-0.13cm} R)  \hspace{-0.15cm} & =  \hspace{-0.15cm} H(B) = {\rm log}_2 \hspace{0.1cm} (6) = 2.585\,{\rm bit} \hspace{0.05cm},\\