Aufgaben:Aufgabe 3.9: Bedingte Transinformation - Versionsgeschichte

Guenter am 21. September 2021 um 14:17 Uhr

2021-09-21T14:17:14Z

Guenter am 21. September 2021 um 14:15 Uhr

2021-09-21T14:15:04Z

Guenter am 21. September 2021 um 13:40 Uhr

2021-09-21T13:40:03Z

Guenter am 31. Januar 2020 um 14:47 Uhr

2020-01-31T14:47:04Z

Guenter am 31. Januar 2020 um 14:30 Uhr

2020-01-31T14:30:42Z

Guenter am 10. Oktober 2018 um 07:22 Uhr

2018-10-10T07:22:49Z

Guenter am 10. Oktober 2018 um 06:48 Uhr

2018-10-10T06:48:58Z

Guenter am 10. Oktober 2018 um 06:45 Uhr

2018-10-10T06:45:54Z

Mwiki-lnt: Textersetzung - „\\sSollte die Eingabe des Zahlenwertes „0” erforderlich sein, so geben Sie bitte „0\.” ein.“ durch „ “

2018-05-29T12:03:47Z

Textersetzung - „\*\s*Sollte die Eingabe des Zahlenwertes „0” erforderlich sein, so geben Sie bitte „0\.” ein.“ durch „ “

Guenter: Guenter verschob die Seite Aufgaben:3.9 Bedingte Transinformation nach Aufgaben:Aufgabe 3.9: Bedingte Transinformation

2018-01-03T14:05:58Z

Guenter verschob die Seite 3.9 Bedingte Transinformation nach Aufgabe 3.9: Bedingte Transinformation

@@ Zeile 115: / Zeile 115: @@
 *Kenne ich&nbsp; $Z$, so weiß ich mehr über die 2D–Zufallsgröße&nbsp; $XW$&nbsp; als ohne diese Kenntnis.
 *Man darf dieses Ergebnis aber nicht verallgemeinern:
-:Manchmal gilt tatsächlich&nbsp; $I(X; W) > I(X; W|Z)$, so wie im&nbsp; [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgr%C3%B6%C3%9Fen#Bedingte_Transinformation|Beispiel 3]] im Theorieteil.
+:Manchmal gilt tatsächlich&nbsp; $I(X; W) > I(X; W|Z)$, so wie im&nbsp; [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgr%C3%B6%C3%9Fen#Bedingte_Transinformation|Beispiel 4]]&nbsp; im Theorieteil.
 {{ML-Fuß}}

@@ Zeile 83: / Zeile 83: @@
 *Der erste Term fasst die beiden horizontal schraffierten Felder in der Grafik zusammen, der zweite Term die vertikal schraffierten Felder.
-*Letztere liefern wegen&nbsp; $\log_2 (1) = 0$&nbsp; keinen Beitrag.
+*Der zweite Term liefert wegen&nbsp; $\log_2 (1) = 0$&nbsp; keinen Beitrag.
@@ Zeile 94: / Zeile 94: @@
 \hspace{0.15cm} \underline {=0.5\,{\rm (bit)}}
 \hspace{0.05cm}.$$
-<br clear=all>
 '''(3)'''&nbsp; Die Gleichung lautet für&nbsp; $Z = \{1,\ 2\}$&nbsp; mit&nbsp; ${\rm Pr}(Z = 1) =p$ &nbsp;und&nbsp;  ${\rm Pr}(Z = 2) =1-p$:
 :$$I(X;W \hspace{0.05cm}|\hspace{0.05cm} Z) =  p \cdot I(X;W \hspace{0.05cm}|\hspace{0.05cm} Z = 1) + (1-p) \cdot I(X;W \hspace{0.05cm}|\hspace{0.05cm} Z = 2)\hspace{0.15cm} \underline {=0.5\,{\rm (bit)}}

@@ Zeile 15: / Zeile 15: @@
 In dieser Aufgabe werden drei verschiedene Transinformationsdefinitionen verwendet:
-*die ''herkömmliche''&nbsp; Transinformation zwischen&nbsp; $X$&nbsp; und&nbsp; $W$:
+*die &bdquo;herkömmliche&rdquo;&nbsp; Transinformation zwischen&nbsp; $X$&nbsp; und&nbsp; $W$:
 :$$I(X;W) =  H(X) - H(X|\hspace{0.05cm}W) \hspace{0.05cm},$$
-* die ''bedingte''&nbsp; Transinformation zwischen&nbsp; $X$&nbsp; und&nbsp; $W$&nbsp; bei ''gegebenem Festwert''&nbsp; $Z = z$:
+* die &bdquo;bedingte&rdquo;&nbsp; Transinformation zwischen&nbsp; $X$&nbsp; und&nbsp; $W$&nbsp; bei&nbsp; <u>gegebenem Festwert</u>&nbsp; $Z = z$:
 :$$I(X;W \hspace{0.05cm}|\hspace{0.05cm} Z = z) =  H(X\hspace{0.05cm}|\hspace{0.05cm} Z = z) - H(X|\hspace{0.05cm}W ,\hspace{0.05cm} Z = z) \hspace{0.05cm},$$
-* die ''bedingte''&nbsp; Transinformation zwischen&nbsp; $X$&nbsp; und&nbsp; $W$&nbsp; bei ''gegebener Zufallsgröße''&nbsp; $Z$:
+* die &bdquo;bedingte&rdquo;&nbsp; Transinformation zwischen&nbsp; $X$&nbsp; und&nbsp; $W$&nbsp; bei&nbsp; <u>gegebener Zufallsgröße</u>&nbsp; $Z$:
 :$$I(X;W \hspace{0.05cm}|\hspace{0.05cm} Z ) =  H(X\hspace{0.05cm}|\hspace{0.05cm} Z ) - H(X|\hspace{0.05cm}W \hspace{0.05cm} Z ) \hspace{0.05cm}.$$
@@ Zeile 34: / Zeile 34: @@
 ''Hinweise:''
 *Die Aufgabe gehört zum  Kapitel&nbsp; [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen|Verschiedene Entropien zweidimensionaler Zufallsgrößen]].
-*Insbesondere wird auf die Seite&nbsp; [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen#Bedingte_Transinformation|Bedingte Transinformation]] Bezug genommen .
+*Insbesondere wird auf die Seite &nbsp; [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen#Bedingte_Transinformation|Bedingte Transinformation]]&nbsp; Bezug genommen .
@@ Zeile 50: / Zeile 50: @@
 $ I(X; W | Z = 2) \ = \ $ { 0.5 3% } $\ \rm bit$
-{Nun gelte &nbsp;$p = {\rm Pr}(Z = 1)$.&nbsp; Wie groß ist die bedingte Transinformation zwischen&nbsp; $X$&nbsp; und&nbsp; $W$, falls&nbsp; $z  \in Z = \{1,\ 2\}$&nbsp; bekannt ist?
+{Nun gelte &nbsp;$p = {\rm Pr}(Z = 1)$. &nbsp; Wie groß ist die bedingte Transinformation zwischen&nbsp; $X$&nbsp; und&nbsp; $W$, falls&nbsp; $z  \in Z = \{1,\ 2\}$&nbsp; bekannt ist?
 |type="{}"}
 $p = 1/2\text{:} \ \ \ I(X; W | Z) \ = \ $  { 0.5 3% } $\ \rm bit$

@@ Zeile 68: / Zeile 68: @@
 ===Musterlösung===
 {{ML-Kopf}}
-[[Datei:P_ID2814__Inf_A_3_8a.png|right|frame|2D-Wahrscheinlichkeitsfunktionen für $Z = 1$]]
+[[Datei:P_ID2814__Inf_A_3_8a.png|right|frame|2D-Wahrscheinlichkeitsfunktionen für&nbsp; $Z = 1$]]
-'''(1)'''&nbsp; Die erste Grafik gilt für $Z = 1$ &nbsp; &rArr; &nbsp; $W = X + Y$. Unter den Voraussetzungen $P_X(X) = \big [1/2, \ 1/2 \big]$ sowie $P_Y(Y) = \big [1/2, \ 1/2 \big]$ ergeben sich somit die Verbundwahrscheinlichkeiten $P_{ XW|Z=1 }(X, W)$ entsprechend der rechten Grafik (graue Hinterlegung).
+'''(1)'''&nbsp; Die obere Grafik gilt für&nbsp; $Z = 1$ &nbsp; &rArr; &nbsp; $W = X + Y$.&nbsp;
-Damit gilt für die Transinformation unter der festen Bedingung $Z = 1$:
+*Damit gilt für die Transinformation unter der festen Bedingung&nbsp; $Z = 1$:
 :$$I(X;W \hspace{0.05cm}|\hspace{0.05cm} Z = 1) \hspace{-0.05cm} = \hspace{-1.1cm}\sum_{(x,w) \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} (P_{XW}\hspace{0.01cm}|\hspace{0.01cm} Z\hspace{-0.03cm} =\hspace{-0.03cm} 1)} \hspace{-1.1cm}
   P_{XW\hspace{0.01cm}|\hspace{0.01cm} Z\hspace{-0.03cm} =\hspace{-0.03cm} 1} (x,w) \cdot {\rm log}_2 \hspace{0.1cm} \frac{P_{XW\hspace{0.01cm}|\hspace{0.01cm} Z\hspace{-0.03cm} =\hspace{-0.03cm} 1} (x,w) }{P_X(x) \cdot P_{W\hspace{0.01cm}|\hspace{0.01cm} Z\hspace{-0.03cm} =\hspace{-0.03cm} 1} (w) }$$
@@ Zeile 81: / Zeile 82: @@
 \hspace{0.05cm}.$$
-*Der erste Term fasst die beiden horizontal schraffierten Felder in obiger Grafik zusammen, der zweite Term die vertikal schraffierten Felder.
+*Der erste Term fasst die beiden horizontal schraffierten Felder in der Grafik zusammen, der zweite Term die vertikal schraffierten Felder.
-*Letztere liefern wegen $\log_2 (1) = 0$&nbsp; keinen Beitrag.
+*Letztere liefern wegen&nbsp; $\log_2 (1) = 0$&nbsp; keinen Beitrag.
-Demzufolge erhält man auch die gleiche bedingte Transinformation:
+[[Datei:P_ID2815__Inf_A_3_8b.png|right|frame|2D-Wahrscheinlichkeitsfunktionen für&nbsp; $Z = 2$]]
 :$$I(X;W \hspace{0.05cm}|\hspace{0.05cm} Z = 2) = I(X;W \hspace{0.05cm}|\hspace{0.05cm} Z = 1)
 \hspace{0.15cm} \underline {=0.5\,{\rm (bit)}}
 \hspace{0.05cm}.$$
+<br clear=all>
+'''(3)'''&nbsp; Die Gleichung lautet für&nbsp; $Z = \{1,\ 2\}$&nbsp; mit&nbsp; ${\rm Pr}(Z = 1) =p$ &nbsp;und&nbsp;  ${\rm Pr}(Z = 2) =1-p$:
 :$$I(X;W \hspace{0.05cm}|\hspace{0.05cm} Z) =  p \cdot I(X;W \hspace{0.05cm}|\hspace{0.05cm} Z = 1) + (1-p) \cdot I(X;W \hspace{0.05cm}|\hspace{0.05cm} Z = 2)\hspace{0.15cm} \underline {=0.5\,{\rm (bit)}}
 \hspace{0.05cm}.$$
-*Es ist berücksichtigt, dass entsprechend den Teilaufgaben '''(1)''' und '''(2)''' die bedingten Transinformationen für gegebenes $Z = 1$ und gegebenes $Z = 2$ gleich sind.
+*Es ist berücksichtigt, dass nach den Teilaufgaben&nbsp; '''(1)'''&nbsp; und&nbsp; '''(2)'''&nbsp; die bedingten Transinformationen für gegebenes&nbsp; $Z = 1$&nbsp; und gegebenes&nbsp; $Z = 2$&nbsp; gleich sind.
-*Damit ist $I(X; W|Z)$, also unter der Bedingung einer stochastischen Zufallsgröße $Z = \{1, 2\}$ mit $P_Z(Z) = \big [p, \ 1 – p\big ]$, unabhängig von &nbsp;$p$.
+*Damit ist&nbsp; $I(X; W|Z)$, also unter der Bedingung einer stochastischen Zufallsgröße&nbsp; $Z = \{1,\ 2\}$&nbsp; mit&nbsp; $P_Z(Z) = \big [p, \ 1 – p\big ]$&nbsp; unabhängig von &nbsp;$p$.
-*Das Ergebnis gilt insbesondere auch für&nbsp; $\underline{p = 1/2}$ und&nbsp; $\underline{p = 3/4}$.
+*Das Ergebnis gilt insbesondere auch für&nbsp; $\underline{p = 1/2}$&nbsp; und&nbsp; $\underline{p = 3/4}$.
 [[Datei:P_ID2816__Inf_A_3_8d.png|right|frame|Zur Berechnung der Verbundwahrscheinlichkeit für $XW$]]
-'''(4)'''&nbsp; Die Verbundwahrscheinlichkeit $P_{ XW }$ hängt von den $Z$–Wahrscheinlichkeiten &nbsp;$p$ und $1 – p$ ab.
+'''(4)'''&nbsp; Die Verbundwahrscheinlichkeit&nbsp; $P_{ XW }$&nbsp; hängt von den&nbsp; $Z$–Wahrscheinlichkeiten &nbsp;$p$&nbsp; und&nbsp; $1 – p$&nbsp; ab.
-*Für $Pr(Z = 1) = Pr(Z = 2) = 1/2$ ergibt sich das rechts skizzierte Schema.
+*Für&nbsp; $Pr(Z = 1) = Pr(Z = 2) = 1/2$&nbsp; ergibt sich das rechts skizzierte Schema.
 *Zur Transinformation tragen nur wieder die beiden horizontal schraffierten Felder bei:
 :$$ I(X;W) = 2 \cdot \frac{1}{8} \cdot {\rm log}_2 \hspace{0.1cm} \frac{1/8}{1/2 \cdot 1/8}
@@ Zeile 110: / Zeile 111: @@
 \hspace{0.05cm}.$$
-Das Ergebnis $I(X; W|Z) > I(X; W)$ trifft für dieses Beispiel, aber auch für viele andere Anwendungen zu:
+Das Ergebnis&nbsp; $I(X; W|Z) > I(X; W)$&nbsp; trifft für dieses Beispiel, aber auch für viele andere Anwendungen zu:
-*Kenne ich $Z$, so weiß ich mehr über die 2D–Zufallsgröße $XW$ als ohne diese Kenntnis.
+*Kenne ich&nbsp; $Z$, so weiß ich mehr über die 2D–Zufallsgröße&nbsp; $XW$&nbsp; als ohne diese Kenntnis.
-*Man darf dieses Ergebnis aber nicht verallgemeinern.
+*Man darf dieses Ergebnis aber nicht verallgemeinern:
-*Manchmal gilt tatsächlich $I(X; W) > I(X; W|Z)$, so wie im [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgr%C3%B6%C3%9Fen#Bedingte_Transinformation|Beispiel 3]] im Theorieteil.
+:Manchmal gilt tatsächlich&nbsp; $I(X; W) > I(X; W|Z)$, so wie im&nbsp; [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgr%C3%B6%C3%9Fen#Bedingte_Transinformation|Beispiel 3]] im Theorieteil.
 {{ML-Fuß}}

@@ Zeile 3: / Zeile 3: @@
 }}
-[[Datei:P_ID2813__Inf_A_3_8.png|right|frame|Ergebnis $W$ als Funktion <br>von  $X$, $Y$, $Z$]]
+[[Datei:P_ID2813__Inf_A_3_8.png|right|frame|Ergebnis&nbsp; $W$&nbsp; als Funktion <br>von&nbsp;  $X$,&nbsp; $Y$,&nbsp; $Z$]]
-Wir gehen von den statistisch unabhängigen Zufallsgrößen $X$, $Y$ und $Z$ mit den folgenden Eigenschaften aus :
+Wir gehen von den statistisch unabhängigen Zufallsgrößen&nbsp; $X$,&nbsp; $Y$&nbsp; und&nbsp; $Z$&nbsp; mit den folgenden Eigenschaften aus:
-:$$X \in \{1, 2 \} \hspace{0.05cm},\hspace{0.35cm}
+:$$X \in \{1,\ 2 \} \hspace{0.05cm},\hspace{0.35cm}
-Y \in \{1, 2 \} \hspace{0.05cm},\hspace{0.35cm}
+Y \in \{1,\ 2 \} \hspace{0.05cm},\hspace{0.35cm}
-Z \in \{1, 2 \} \hspace{0.05cm},\hspace{0.35cm} P_X(X) = P_Y(Y) = \big [ 1/2, \ 1/2 \big ]\hspace{0.05cm},\hspace{0.35cm}P_Z(Z) = \big [ p, \ 1-p \big ].$$
+Z \in \{1,\ 2 \} \hspace{0.05cm},\hspace{0.35cm} P_X(X) = P_Y(Y) = \big [ 1/2, \ 1/2 \big ]\hspace{0.05cm},\hspace{0.35cm}P_Z(Z) = \big [ p, \ 1-p \big ].$$
-Aus $X$, $Y$ und $Z$ bilden wir die neue Zufallsgröße $W = (X+Y) \cdot Z$.
+Aus&nbsp; $X$,&nbsp; $Y$&nbsp; und&nbsp; $Z$&nbsp; bilden wir die neue Zufallsgröße&nbsp; $W = (X+Y) \cdot Z$.
-*Es ist offensichtlich, dass es zwischen $X$ und $W$ statistische Abhängigkeiten gibt &nbsp; &rArr; &nbsp; Transinformation $I(X; W) ≠ 0$.
+*Es ist offensichtlich, dass es zwischen&nbsp; $X$&nbsp; und&nbsp; $W$&nbsp; statistische Abhängigkeiten gibt &nbsp; &rArr; &nbsp; Transinformation&nbsp; $I(X; W) ≠ 0$.
-*Außerdem wird auch $I(Y; W) ≠ 0$ &nbsp;sowie&nbsp; $I(Z; W) ≠ 0$ gelten, worauf in dieser Aufgabe jedoch nicht näher eingegangen wird.
+*Außerdem wird auch&nbsp; $I(Y; W) ≠ 0$ &nbsp;sowie&nbsp; $I(Z; W) ≠ 0$&nbsp; gelten, worauf in dieser Aufgabe jedoch nicht näher eingegangen wird.
 In dieser Aufgabe werden drei verschiedene Transinformationsdefinitionen verwendet:
-*die ''herkömmliche'' Transinformation zwischen $X$ und $W$:
+*die ''herkömmliche''&nbsp; Transinformation zwischen&nbsp; $X$&nbsp; und&nbsp; $W$:
 :$$I(X;W) =  H(X) - H(X|\hspace{0.05cm}W) \hspace{0.05cm},$$
-:* die ''bedingte'' Transinformation zwischen $X$ und $W$ bei ''gegebenem Festwert'' $Z = z$:
+* die ''bedingte''&nbsp; Transinformation zwischen&nbsp; $X$&nbsp; und&nbsp; $W$&nbsp; bei ''gegebenem Festwert''&nbsp; $Z = z$:
 :$$I(X;W \hspace{0.05cm}|\hspace{0.05cm} Z = z) =  H(X\hspace{0.05cm}|\hspace{0.05cm} Z = z) - H(X|\hspace{0.05cm}W ,\hspace{0.05cm} Z = z) \hspace{0.05cm},$$
-* die ''bedingte'' Transinformation zwischen $X$ und $W$ bei ''gegebener Zufallsgröße'' $Z$:
+* die ''bedingte''&nbsp; Transinformation zwischen&nbsp; $X$&nbsp; und&nbsp; $W$&nbsp; bei ''gegebener Zufallsgröße''&nbsp; $Z$:
 :$$I(X;W \hspace{0.05cm}|\hspace{0.05cm} Z ) =  H(X\hspace{0.05cm}|\hspace{0.05cm} Z ) - H(X|\hspace{0.05cm}W \hspace{0.05cm} Z ) \hspace{0.05cm}.$$
@@ Zeile 25: / Zeile 25: @@
 :$$I(X;W \hspace{0.05cm}|\hspace{0.05cm} Z ) = \sum_{z \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} (P_{Z})} \hspace{-0.2cm}
   P_Z(z) \cdot  I(X;W \hspace{0.05cm}|\hspace{0.05cm} Z = z)\hspace{0.05cm}.$$
@@ Zeile 38: / Zeile 42: @@
 <quiz display=simple>
-{Wie groß ist die Transinformation zwischen $X$ und $W$, falls stets $Z = 1$ gilt?
+{Wie groß ist die Transinformation zwischen&nbsp; $X$&nbsp; und&nbsp; $W$,&nbsp; falls stets&nbsp; $Z = 1$&nbsp; gilt?
 |type="{}"}
 $ I(X; W | Z = 1) \ = \ $ { 0.5 3% } $\ \rm bit$
-{Wie groß ist die Transinformation zwischen $X$ und $W$, falls stets $Z = 2$ gilt?
+{Wie groß ist die Transinformation zwischen&nbsp; $X$&nbsp; und&nbsp; $W$,&nbsp; falls stets&nbsp; $Z = 2$&nbsp; gilt?
 |type="{}"}
 $ I(X; W | Z = 2) \ = \ $ { 0.5 3% } $\ \rm bit$
-{Nun gelte &nbsp;$p = {\rm Pr}(Z = 1)$. Wie groß ist die bedingte Transinformation zwischen $X$ und $W$, falls $z  \in Z = \{1, 2\}$ bekannt ist?
+{Nun gelte &nbsp;$p = {\rm Pr}(Z = 1)$.&nbsp; Wie groß ist die bedingte Transinformation zwischen&nbsp; $X$&nbsp; und&nbsp; $W$, falls&nbsp; $z  \in Z = \{1,\ 2\}$&nbsp; bekannt ist?
 |type="{}"}
 $p = 1/2\text{:} \ \ \ I(X; W | Z) \ = \ $  { 0.5 3% } $\ \rm bit$
 $p = 3/4\text{:} \ \ \ I(X; W | Z) \ = \ $  { 0.5 3% } $\ \rm bit$
-{Wie groß ist die unkonditionierte Transinformation für $p = 1/2$?
+{Wie groß ist die unkonditionierte Transinformation für&nbsp; $p = 1/2$?
 |type="{}"}
 $I(X; W) \ = \ $ { 0.25 3% } $\ \rm bit$

@@ Zeile 30: / Zeile 30: @@
 *Die Aufgabe gehört zum  Kapitel [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen|Verschiedene Entropien zweidimensionaler Zufallsgrößen]].
 *Insbesondere wird auf die Seite [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen#Bedingte_Transinformation|Bedingte Transinformation]] Bezug genommen .
-*Sollte die Eingabe des Zahlenwertes &bdquo;0&rdquo; erforderlich sein, so geben Sie bitte &bdquo;0.&rdquo; ein.