Aufgaben:Aufgabe 3.8: Nochmals Transinformation: Unterschied zwischen den Versionen

Aus LNTwww
Wechseln zu:Navigation, Suche
 
(8 dazwischenliegende Versionen von 2 Benutzern werden nicht angezeigt)
Zeile 3: Zeile 3:
 
}}
 
}}
  
[[Datei:P_ID2768__Inf_A_3_7_neu.png|right|Verbundwahrscheinlichkeiten <i>P<sub>XY</sub></i> und <i>P<sub>XW</sub></i>]]
+
[[Datei:P_ID2768__Inf_A_3_7_neu.png|right|frame|Die 2D&ndash;Funktionen&nbsp; <br>&nbsp;$P_{ XY }$&nbsp; und&nbsp; $P_{ XW }$]]
Wir betrachten das Tupel $Z = (X, Y)$, wobei die Einzelkomponenten $X$ und $Y$ jeweils ternäre Zufallsgrößen darstellen:  
+
Wir betrachten das Tupel&nbsp; $Z = (X, Y)$,&nbsp; wobei die Einzelkomponenten&nbsp; $X$&nbsp; und&nbsp; $Y$&nbsp; jeweils ternäre Zufallsgrößen darstellen:  
:$$X = \{ 0 , 1 , 2 \}$ , \hspace{0.3cm}$Y= \{ 0 , 1 , 2 \}$$.
+
:$$X = \{ 0 ,\ 1 ,\ 2 \} , \hspace{0.3cm}Y= \{ 0 ,\ 1 ,\ 2 \}.$$  
  
Die gemeinsame Wahrscheinlichkeitsfunktion $P_{ XY }(X, Y)$ beider Zufallsgrößen ist in der oberen Grafik angegeben. In der [[Aufgaben:3.07Z_Tupel_aus_tern%C3%A4ren_Zufallsgr%C3%B6%C3%9Fen|Zusatzaufgabe 3.8Z]] wird diese Konstellation ausführlich analysiert. Man erhält als Ergebnis (alle Angaben in &bdquo;bit&rdquo;):
+
Die gemeinsame Wahrscheinlichkeitsfunktion&nbsp; $P_{ XY }(X, Y)$&nbsp; beider Zufallsgrößen ist in der oberen Grafik angegeben.&nbsp;  
* $H(X) = H(Y) = \log_2 (3) = 1.585,$
 
* $H(XY) = \log_2 (9) = 3.170,$
 
* $I(X, Y) = 0,$
 
* $H(Z) = H(XZ) = 3.170,$
 
* $I(X, Z) = 1.585.$
 
  
Desweiteren betrachten wir hier die Zufallsgröße $W = \{ 0, 1, 2, 3, 4 \}$, deren Eigenschaften sich aus der Verbundwahrscheinlichkeitsfunktion $P_{ XW }(X, W)$ nach der unteren Skizze ergeben. Die Wahrscheinlichkeiten sind in allen weiß hinterlegten Feldern jeweils $0$.
+
In der&nbsp; [[Aufgaben:3.07Z_Tupel_aus_tern%C3%A4ren_Zufallsgr%C3%B6%C3%9Fen|Aufgabe 3.8Z]]&nbsp; wird diese Konstellation ausführlich analysiert.&nbsp; Man erhält als Ergebnis (alle Angaben in &bdquo;bit&rdquo;):
 +
:* $H(X) = H(Y) = \log_2 (3) = 1.585,$
 +
:* $H(XY) = \log_2 (9) = 3.170,$
 +
:* $I(X, Y) = 0,$
 +
:* $H(Z) = H(XZ) = 3.170,$
 +
:* $I(X, Z) = 1.585.$
 +
 
 +
Desweiteren betrachten wir die Zufallsgröße&nbsp; $W = \{ 0,\ 1,\ 2,\ 3,\ 4 \}$,&nbsp; deren Eigenschaften sich aus der Verbundwahrscheinlichkeitsfunktion&nbsp; $P_{ XW }(X, W)$&nbsp; nach der unteren Skizze ergeben.&nbsp; Die Wahrscheinlichkeiten sind in allen weiß hinterlegten Feldern jeweils Null.
  
 
Gesucht ist in der vorliegenden Aufgabe die Transinformation zwischen
 
Gesucht ist in der vorliegenden Aufgabe die Transinformation zwischen
:*den Zufallsgrößen $X$ und $W$ &nbsp; ⇒ &nbsp;  $I(X; W)$,
+
:*den Zufallsgrößen&nbsp; $X$&nbsp; und&nbsp; $W$ &nbsp; ⇒ &nbsp;  $I(X; W)$,
:* den Zufallsgrößen $Z$ und $W I(Z; W)$.
+
:* den Zufallsgrößen&nbsp; $Z$&nbsp; und&nbsp; $W &nbsp; &nbsp; I(Z; W)$.
 +
 
 +
 
 +
 
  
  
 
''Hinweise:''  
 
''Hinweise:''  
*Die Aufgabe gehört zum  Kapitel [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen|Verschiedene Entropien zweidimensionaler Zufallsgrößen]].
+
*Die Aufgabe gehört zum  Kapitel&nbsp; [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen|Verschiedene Entropien zweidimensionaler Zufallsgrößen]].
*Insbesondere wird Bezug genommen auf die Seiten [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen#Bedingte_Wahrscheinlichkeit_und_bedingte_Entropie|Bedingte Wahrscheinlichkeit und bedingte Entropie]] sowie [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen#Transinformation_zwischen_zwei_Zufallsgr.C3.B6.C3.9Fen|Transinformation zwischen zwei Zufallsgrößen]].
+
*Insbesondere wird Bezug genommen auf die Seiten <br> &nbsp; &nbsp;  [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen#Bedingte_Wahrscheinlichkeit_und_bedingte_Entropie|Bedingte Wahrscheinlichkeit und bedingte Entropie]] sowie <br> &nbsp; &nbsp;  [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen#Transinformation_zwischen_zwei_Zufallsgr.C3.B6.C3.9Fen|Transinformation zwischen zwei Zufallsgrößen]].
*Sollte die Eingabe des Zahlenwertes &bdquo;0&rdquo; erforderlich sein, so geben Sie bitte &bdquo;0.&rdquo; ein.
+
  
  
Zeile 30: Zeile 35:
  
 
<quiz display=simple>
 
<quiz display=simple>
{Wie könnten die Größen $X$, $Y$ und $W$ zusammenhängen?  
+
{Wie könnten die Größen&nbsp; $X$,&nbsp; $Y$&nbsp; und&nbsp; $W$&nbsp; zusammenhängen?  
 
|type="[]"}
 
|type="[]"}
 
+ $W = X + Y$,
 
+ $W = X + Y$,
+$W = X Y + 2$,
+
+$W = X - Y + 2$,
-$W = Y X + 2$.
+
-$W = Y - X + 2$.
  
{Welche Transinformationen besteht zwischen den Zufallsgrößen $X$ und $W$?
+
{Welche Transinformation besteht zwischen den Zufallsgrößen&nbsp; $X$&nbsp; und&nbsp; $W$?
 
|type="{}"}
 
|type="{}"}
 
$I(X; W) \ = \ $ { 0.612 3%  } $\ \rm bit$
 
$I(X; W) \ = \ $ { 0.612 3%  } $\ \rm bit$
  
{Welche Transinformation besteht zwischen den Zufallsgrößen $Z$ und $W$?
+
{Welche Transinformation besteht zwischen den Zufallsgrößen&nbsp; $Z$&nbsp; und&nbsp; $W$?
 
|type="{}"}
 
|type="{}"}
 
$I(Z; W) \ = \ $ { 2.197 3%  } $\ \rm bit$
 
$I(Z; W) \ = \ $ { 2.197 3%  } $\ \rm bit$
Zeile 46: Zeile 51:
 
{Welche der nachfolgenden Aussagen sind zutreffend?
 
{Welche der nachfolgenden Aussagen sind zutreffend?
 
|type="[]"}
 
|type="[]"}
+ Es gilt $H(ZW) = H(XW)$.
+
+ Es gilt&nbsp; $H(ZW) = H(XW)$.
+ Es gilt $H(W|Z) = 0$.
+
+ Es gilt&nbsp; $H(W|Z) = 0$.
+ Es gilt $I(Z; W) > I(X; W)$.
+
+ Es gilt&nbsp; $I(Z; W) > I(X; W)$.
  
 
</quiz>
 
</quiz>
Zeile 54: Zeile 59:
 
===Musterlösung===
 
===Musterlösung===
 
{{ML-Kopf}}
 
{{ML-Kopf}}
'''1.''' Mit $X = \{0, 1, 2\}$, $Y = \{0, 1, 2\}$ gilt $X + Y = \{0, 1, 2, 3, 4\}$ und auch die Wahrscheinlichkeiten stimmen mit der vorgegebenen Wahrscheinlichkeitsfunktion überein. Die Überprüfung der beiden anderen Vorgaben zeigt, dass auch $W = X Y + 2$ möglich ist $\Rightarrow$ $Lösungsvorschläge 1$ und $2$.
+
'''(1)'''&nbsp; Richtig sind die <u>Lösungsvorschläge 1 und 2</u>:
 
+
*Mit&nbsp; $X = \{0,\ 1,\ 2\}$,&nbsp; $Y = \{0,\ 1,\ 2\}$&nbsp; gilt&nbsp; $X + Y = \{0,\ 1,\ 2,\ 3,\ 4\}$.&nbsp;
'''2.'''Aus der 2D–Wahrscheinlichkeitsfunktion $P_{ XW }(X, W)$ auf der Angabenseite erhält man für
+
*Auch die Wahrscheinlichkeiten stimmen mit der gegebenen Wahrscheinlichkeitsfunktion überein.  
:*die Verbundentropie:
+
*Die Überprüfung der beiden anderen Vorgaben zeigt, dass auch&nbsp; $W = X - Y + 2$&nbsp; möglich ist, nicht jedoch&nbsp; $W = Y - X + 2$.
 
 
$$H(XW) = log_2(9) = 3.170$$,
 
:* die Wahrsacheinlichkeitsfunktion der Zufallsgröße $W$:
 
$$P_W(W) = [ 1/9 , 2/9 ,  3/9 ,  2/9 ,  1/9]$$,
 
:*die Entropie der Zufallsgröße $W$:
 
$$H(W) = 2 . \frac{1}{9} .  log_2\frac{9}{1} + 2 . \frac{2}{9} .  log_2\frac{9}{2} + 2 . \frac{3}{9} .  log_2\frac{9}{3} = 2.197 ( bit)$$.
 
Mit $H(X) = 1.585$ bit (wurde angegeben) ergibt sich somit für die ''Mutual Information'':
 
$$I(X;W) = H(X) + H(W) - H(XW)=$$
 
$$=1.585+2.197-3.170=0.612(bit)$$
 
[[Datei:P_ID2769__Inf_A_3_7d.png|right|]]
 
Das Rechte Schaubild verdeutlicht die Berechnung der Transinformation $I(X; W)$ zwischen der ersten Komponente $X$ und der Summe $W$.
 
 
 
 
 
 
 
 
 
  
'''3.''' Die Grafik zeigt die Verbundwahrscheinlichkeit $P_{ ZW }(⋅)$. Das Schema besteht aus $5 · 9 = 45$ Feldern im Gegensatz zur Darstellung von $P_{ XW }(⋅)$ auf der Angabenseite mit $3 · 9 = 27$ Feldern.
 
[[Datei:P_ID2770__Inf_A_3_7c.png|right|]]
 
  
Von den $45$ Feldern sind aber auch nur neun mit Wahrscheinlichkeiten $≠ 0$ belegt. Für die Verbundentropie gilt:
+
[[Datei:P_ID2769__Inf_A_3_7d.png|right|frame|Zur Berechnung der Transinformation]]
  
$H(ZW) = 3.170(bit)$
 
  
Mit den weiteren Entropien
+
'''(2)'''&nbsp; Aus der 2D–Wahrscheinlichkeitsfunktion&nbsp; $P_{ XW }(X, W)$&nbsp; auf der Angabenseite erhält man für
 +
*die Verbundentropie:
 +
:$$H(XW) =  {\rm log}_2 \hspace{0.1cm} (9)
 +
= 3.170\ {\rm (bit)}
 +
\hspace{0.05cm},$$
 +
* die Wahrsacheinlichkeitsfunktion der Zufallsgröße&nbsp; $W$:
 +
:$$P_W(W) = \big [\hspace{0.05cm}1/9\hspace{0.05cm}, \hspace{0.15cm} 2/9\hspace{0.05cm},\hspace{0.15cm} 3/9 \hspace{0.05cm}, \hspace{0.15cm} 2/9\hspace{0.05cm}, \hspace{0.15cm} 1/9\hspace{0.05cm} \big ]\hspace{0.05cm},$$
 +
*die Entropie der Zufallsgröße $W$:
 +
:$$H(W) = 2 \cdot \frac{1}{9} \cdot {\rm log}_2 \hspace{0.1cm} \frac{9}{1} + 2 \cdot \frac{2}{9} \cdot {\rm log}_2 \hspace{0.1cm} \frac{9}{2} +
 +
\frac{3}{9} \cdot {\rm log}_2 \hspace{0.1cm} \frac{9}{3}
 +
{= 2.197\ {\rm (bit)}} \hspace{0.05cm}.$$
  
$$H(Z) = 3.170 (bit)$$
+
Mit&nbsp; $H(X) = 1.585 \ \rm bit$&nbsp; (wurde vorgegeben) ergibt sich somit für die Transinformation &nbsp; ("Mutual Information"):
$$H(W) = 2.197 (bit)$$
+
:$$I(X;W) = H(X) + H(W) - H(XW) = 1.585 + 2.197- 3.170\hspace{0.15cm} \underline {= 0.612\ {\rm (bit)}} \hspace{0.05cm}.$$
entsprechend der [http://www.lntwww.de/Aufgaben:3.07Z_Tupel_aus_tern%C3%A4ren_Zufallsgr%C3%B6%C3%9Fen Aufgabe Z3.7] bzw. der Teilaufgabe (b) erhält man für die Transinformation:
 
  
$$I(Z;W) = H(Z) + H(W) - H(ZW) = 2.197 (bit)$$
+
Das linke der beiden Schaubilder verdeutlicht die Berechnung der Transinformation&nbsp; $I(X; W)$&nbsp; zwischen der ersten Komponente&nbsp; $X$&nbsp; und der Summe&nbsp; $W$.
wie auch aus dem rechten oberen Schaubild hervorgeht.
+
<br clear=all>
  
  
'''4.'''  $Alle$ $drei$ $Aussagen$ treffen zu, wie auch aus dem oberen Schaubild ersichtlich ist. Wir versuchen eine Interpretation dieser numerischen Ergebnisse:
+
[[Datei:P_ID2770__Inf_A_3_7c.png|right|frame|Verbundwahrscheinlichkeit zwischen&nbsp; $Z$&nbsp; und&nbsp; $W$]]
:* Die Verbundwahrscheinlichkeit $P_{ ZW }$ setzt sich ebenso wie $P_{ XW }$ aus neun gleichwahrscheinlichen Elementen $0$ zusammen. Damit ist offensichtlich, dass auch die Verbundentropien gleich sind:
+
'''(3)'''&nbsp; Die zweite Grafik zeigt die Verbundwahrscheinlichkeit&nbsp; $P_{ ZW }(⋅)$.&nbsp;
 +
*Das Schema besteht aus&nbsp; $5 · 9 = 45$&nbsp; Feldern im Gegensatz zur Darstellung von&nbsp; $P_{ XW }(⋅)$&nbsp; auf der Angabenseite mit&nbsp; $3 · 9 = 27$&nbsp; Feldern.
 +
*Von den&nbsp; $45$&nbsp; Feldern sind aber auch nur neun mit Wahrscheinlichkeiten ungleich Null belegt.&nbsp; Für die Verbundentropie gilt: &nbsp; $H(ZW)  = 3.170\ {\rm (bit)} \hspace{0.05cm}.$
 +
*Mit den weiteren Entropien&nbsp; $H(Z)  = 3.170\ {\rm (bit)}\hspace{0.05cm}$&nbsp; und&nbsp; $H(W)  = 2.197\ {\rm (bit)}\hspace{0.05cm}$&nbsp; entsprechend der&nbsp; [[Aufgaben:3.07Z_Tupel_aus_tern%C3%A4ren_Zufallsgr%C3%B6%C3%9Fen| Aufgabe 3.8Z]]&nbsp; bzw. der Teilfrage&nbsp; '''(2)'''&nbsp; dieser Aufgabe erhält man für die Transinformation:
 +
:$$I(Z;W) = H(Z) + H(W) - H(ZW) \hspace{0.15cm} \underline {= 2.197\,{\rm (bit)}} \hspace{0.05cm}.$$
  
$H(ZW) =  H(XW) = 3.170 (bit)$. 
 
  
:* Wenn ich das Tupel $Z = (X, Y)$ kenne, kenne ich natürlich auch die Summe $W = X + Y$. Damit ist $H(W|Z) = 0$. Dagegen ist $H(Z|W)$ ungleich $0$. Vielmehr gilt $H(Z|W) = H(X|W) = 0.973  bit$.
 
:* Die Zufallsgröße $W$ liefert also die genau gleiche Information hinsichtlich des Tupels $Z$ wie für die Einzelkomponente $X$. Dies ist die verbale Interpretation für die Aussage $H(Z|W) = H(X|W)$
 
:* Die gemeinsame Information von $Z$ und $W \Rightarrow  I(Z; W)$ ist größer als die von $X und W \Rightarrow  I(X; W)$, weil $H(W|Z)$ gleich $0$ ist, während $H(W|X)$ ungleich $0$ ist, nämlich genau so groß ist wie $H(X)$ :
 
  
$$I(Z;W) = H(W) - H(W|Z) = 2.197 - 0 = 2.197 (bit)$$
+
'''(4)'''&nbsp; <u>Alle drei Aussagen</u> treffen zu, wie aus dem rechten der beiden oberen Schaubilder ersichtlich ist.&nbsp; Wir versuchen eine Interpretation dieser numerischen Ergebnisse:
$$I(X;W) = H(W) - H(W|X) = 2.197 - 1.585 = 0.612 (bit)$$
+
* Die Verbundwahrscheinlichkeit&nbsp; $P_{ ZW }(⋅)$&nbsp; setzt sich ebenso wie&nbsp; $P_{ XW }(⋅)$&nbsp; aus neun gleichwahrscheinlichen Elementen ungleich 0 zusammen.&nbsp; Damit ist offensichtlich, dass auch die Verbundentropien gleich sind &nbsp; ⇒ &nbsp; $H(ZW) =  H(XW) = 3.170 \ \rm (bit)$. 
 +
* Wenn ich das Tupel&nbsp; $Z = (X, Y)$&nbsp; kenne,&nbsp; kenne ich natürlich auch die Summe&nbsp; $W = X + Y$.&nbsp; Damit ist&nbsp; $H(W|Z) = 0$.
 +
*Dagegen ist&nbsp; $H(Z|W) \ne 0$.&nbsp; Vielmehr gilt&nbsp; $H(Z|W) = H(X|W) = 0.973  \ \rm (bit)$.
 +
* Die Zufallsgröße&nbsp; $W$&nbsp; liefert also die genau gleiche Information hinsichtlich des Tupels&nbsp; $Z$&nbsp; wie für die Einzelkomponente&nbsp; $X$.&nbsp; Dies ist die verbale Interpretation der Aussage&nbsp; $H(Z|W) = H(X|W)$.
 +
* Die gemeinsame Information von&nbsp; $Z$&nbsp; und&nbsp; $W$&nbsp; &nbsp; ⇒ &nbsp; $I(Z; W)$&nbsp; ist größer als die gemeinsame Information von&nbsp; $X$&nbsp; und&nbsp; $W$  &nbsp; ⇒ &nbsp; $I(X; W)$, weil&nbsp; $H(W|Z) =0$&nbsp; gilt, während&nbsp; $H(W|X)$&nbsp; ungleich Null ist, nämlich genau so groß ist wie&nbsp; $H(X)$ :
 +
:$$I(Z;W)  = H(W) - H(W|Z) = 2.197 - 0= 2.197\,{\rm (bit)} \hspace{0.05cm},$$
 +
:$$I(X;W) = H(W) - H(W|X) = 2.197 - 1.585= 0.612\,{\rm (bit)} \hspace{0.05cm}.$$
  
  

Aktuelle Version vom 20. September 2021, 17:29 Uhr

Die 2D–Funktionen 
 $P_{ XY }$  und  $P_{ XW }$

Wir betrachten das Tupel  $Z = (X, Y)$,  wobei die Einzelkomponenten  $X$  und  $Y$  jeweils ternäre Zufallsgrößen darstellen:

$$X = \{ 0 ,\ 1 ,\ 2 \} , \hspace{0.3cm}Y= \{ 0 ,\ 1 ,\ 2 \}.$$

Die gemeinsame Wahrscheinlichkeitsfunktion  $P_{ XY }(X, Y)$  beider Zufallsgrößen ist in der oberen Grafik angegeben. 

In der  Aufgabe 3.8Z  wird diese Konstellation ausführlich analysiert.  Man erhält als Ergebnis (alle Angaben in „bit”):

  • $H(X) = H(Y) = \log_2 (3) = 1.585,$
  • $H(XY) = \log_2 (9) = 3.170,$
  • $I(X, Y) = 0,$
  • $H(Z) = H(XZ) = 3.170,$
  • $I(X, Z) = 1.585.$

Desweiteren betrachten wir die Zufallsgröße  $W = \{ 0,\ 1,\ 2,\ 3,\ 4 \}$,  deren Eigenschaften sich aus der Verbundwahrscheinlichkeitsfunktion  $P_{ XW }(X, W)$  nach der unteren Skizze ergeben.  Die Wahrscheinlichkeiten sind in allen weiß hinterlegten Feldern jeweils Null.

Gesucht ist in der vorliegenden Aufgabe die Transinformation zwischen

  • den Zufallsgrößen  $X$  und  $W$   ⇒   $I(X; W)$,
  • den Zufallsgrößen  $Z$  und  $W   ⇒   I(Z; W)$.



Hinweise:


Fragebogen

1

Wie könnten die Größen  $X$,  $Y$  und  $W$  zusammenhängen?

$W = X + Y$,
$W = X - Y + 2$,
$W = Y - X + 2$.

2

Welche Transinformation besteht zwischen den Zufallsgrößen  $X$  und  $W$?

$I(X; W) \ = \ $

$\ \rm bit$

3

Welche Transinformation besteht zwischen den Zufallsgrößen  $Z$  und  $W$?

$I(Z; W) \ = \ $

$\ \rm bit$

4

Welche der nachfolgenden Aussagen sind zutreffend?

Es gilt  $H(ZW) = H(XW)$.
Es gilt  $H(W|Z) = 0$.
Es gilt  $I(Z; W) > I(X; W)$.


Musterlösung

(1)  Richtig sind die Lösungsvorschläge 1 und 2:

  • Mit  $X = \{0,\ 1,\ 2\}$,  $Y = \{0,\ 1,\ 2\}$  gilt  $X + Y = \{0,\ 1,\ 2,\ 3,\ 4\}$. 
  • Auch die Wahrscheinlichkeiten stimmen mit der gegebenen Wahrscheinlichkeitsfunktion überein.
  • Die Überprüfung der beiden anderen Vorgaben zeigt, dass auch  $W = X - Y + 2$  möglich ist, nicht jedoch  $W = Y - X + 2$.


Zur Berechnung der Transinformation


(2)  Aus der 2D–Wahrscheinlichkeitsfunktion  $P_{ XW }(X, W)$  auf der Angabenseite erhält man für

  • die Verbundentropie:
$$H(XW) = {\rm log}_2 \hspace{0.1cm} (9) = 3.170\ {\rm (bit)} \hspace{0.05cm},$$
  • die Wahrsacheinlichkeitsfunktion der Zufallsgröße  $W$:
$$P_W(W) = \big [\hspace{0.05cm}1/9\hspace{0.05cm}, \hspace{0.15cm} 2/9\hspace{0.05cm},\hspace{0.15cm} 3/9 \hspace{0.05cm}, \hspace{0.15cm} 2/9\hspace{0.05cm}, \hspace{0.15cm} 1/9\hspace{0.05cm} \big ]\hspace{0.05cm},$$
  • die Entropie der Zufallsgröße $W$:
$$H(W) = 2 \cdot \frac{1}{9} \cdot {\rm log}_2 \hspace{0.1cm} \frac{9}{1} + 2 \cdot \frac{2}{9} \cdot {\rm log}_2 \hspace{0.1cm} \frac{9}{2} + \frac{3}{9} \cdot {\rm log}_2 \hspace{0.1cm} \frac{9}{3} {= 2.197\ {\rm (bit)}} \hspace{0.05cm}.$$

Mit  $H(X) = 1.585 \ \rm bit$  (wurde vorgegeben) ergibt sich somit für die Transinformation   ("Mutual Information"):

$$I(X;W) = H(X) + H(W) - H(XW) = 1.585 + 2.197- 3.170\hspace{0.15cm} \underline {= 0.612\ {\rm (bit)}} \hspace{0.05cm}.$$

Das linke der beiden Schaubilder verdeutlicht die Berechnung der Transinformation  $I(X; W)$  zwischen der ersten Komponente  $X$  und der Summe  $W$.


Verbundwahrscheinlichkeit zwischen  $Z$  und  $W$

(3)  Die zweite Grafik zeigt die Verbundwahrscheinlichkeit  $P_{ ZW }(⋅)$. 

  • Das Schema besteht aus  $5 · 9 = 45$  Feldern im Gegensatz zur Darstellung von  $P_{ XW }(⋅)$  auf der Angabenseite mit  $3 · 9 = 27$  Feldern.
  • Von den  $45$  Feldern sind aber auch nur neun mit Wahrscheinlichkeiten ungleich Null belegt.  Für die Verbundentropie gilt:   $H(ZW) = 3.170\ {\rm (bit)} \hspace{0.05cm}.$
  • Mit den weiteren Entropien  $H(Z) = 3.170\ {\rm (bit)}\hspace{0.05cm}$  und  $H(W) = 2.197\ {\rm (bit)}\hspace{0.05cm}$  entsprechend der  Aufgabe 3.8Z  bzw. der Teilfrage  (2)  dieser Aufgabe erhält man für die Transinformation:
$$I(Z;W) = H(Z) + H(W) - H(ZW) \hspace{0.15cm} \underline {= 2.197\,{\rm (bit)}} \hspace{0.05cm}.$$


(4)  Alle drei Aussagen treffen zu, wie aus dem rechten der beiden oberen Schaubilder ersichtlich ist.  Wir versuchen eine Interpretation dieser numerischen Ergebnisse:

  • Die Verbundwahrscheinlichkeit  $P_{ ZW }(⋅)$  setzt sich ebenso wie  $P_{ XW }(⋅)$  aus neun gleichwahrscheinlichen Elementen ungleich 0 zusammen.  Damit ist offensichtlich, dass auch die Verbundentropien gleich sind   ⇒   $H(ZW) = H(XW) = 3.170 \ \rm (bit)$.
  • Wenn ich das Tupel  $Z = (X, Y)$  kenne,  kenne ich natürlich auch die Summe  $W = X + Y$.  Damit ist  $H(W|Z) = 0$.
  • Dagegen ist  $H(Z|W) \ne 0$.  Vielmehr gilt  $H(Z|W) = H(X|W) = 0.973 \ \rm (bit)$.
  • Die Zufallsgröße  $W$  liefert also die genau gleiche Information hinsichtlich des Tupels  $Z$  wie für die Einzelkomponente  $X$.  Dies ist die verbale Interpretation der Aussage  $H(Z|W) = H(X|W)$.
  • Die gemeinsame Information von  $Z$  und  $W$    ⇒   $I(Z; W)$  ist größer als die gemeinsame Information von  $X$  und  $W$   ⇒   $I(X; W)$, weil  $H(W|Z) =0$  gilt, während  $H(W|X)$  ungleich Null ist, nämlich genau so groß ist wie  $H(X)$ :
$$I(Z;W) = H(W) - H(W|Z) = 2.197 - 0= 2.197\,{\rm (bit)} \hspace{0.05cm},$$
$$I(X;W) = H(W) - H(W|X) = 2.197 - 1.585= 0.612\,{\rm (bit)} \hspace{0.05cm}.$$