Wir betrachten das Tupel $Z = (X, Y)$, wobei die Einzelkomponenten $X$ und $Y$ jeweils ternäre Zufallsgrößen darstellen:
Wir betrachten das Tupel $Z = (X, Y)$, wobei die Einzelkomponenten $X$ und $Y$ jeweils ternäre Zufallsgrößen darstellen:
Die gemeinsame Wahrscheinlichkeitsfunktion $P_{ XY }(X, Y)$ beider Zufallsgrößen ist in der oberen Grafik angegeben. In der [[Aufgaben:3.07Z_Tupel_aus_tern%C3%A4ren_Zufallsgr%C3%B6%C3%9Fen|Zusatzaufgabe 3.8Z]] wird diese Konstellation ausführlich analysiert. Man erhält als Ergebnis (alle Angaben in „bit”):
Die gemeinsame Wahrscheinlichkeitsfunktion $P_{ XY }(X, Y)$ beider Zufallsgrößen ist in der oberen Grafik angegeben.
* $H(X) = H(Y) = \log_2 (3) = 1.585,$
* $H(XY) = \log_2 (9) = 3.170,$
* $I(X, Y) = 0,$
* $H(Z) = H(XZ) = 3.170,$
* $I(X, Z) = 1.585.$
Desweiteren betrachten wir hier die Zufallsgröße $W = \{ 0, 1, 2, 3, 4 \}$, deren Eigenschaften sich aus der Verbundwahrscheinlichkeitsfunktion $P_{ XW }(X, W)$ nach der unteren Skizze ergeben. Die Wahrscheinlichkeiten sind in allen weiß hinterlegten Feldern jeweils $0$.
In der [[Aufgaben:3.07Z_Tupel_aus_tern%C3%A4ren_Zufallsgr%C3%B6%C3%9Fen|Aufgabe 3.8Z]] wird diese Konstellation ausführlich analysiert. Man erhält als Ergebnis (alle Angaben in „bit”):
:* $H(X) = H(Y) = \log_2 (3) = 1.585,$
:* $H(XY) = \log_2 (9) = 3.170,$
:* $I(X, Y) = 0,$
:* $H(Z) = H(XZ) = 3.170,$
:* $I(X, Z) = 1.585.$
Desweiteren betrachten wir die Zufallsgröße $W = \{ 0,\ 1,\ 2,\ 3,\ 4 \}$, deren Eigenschaften sich aus der Verbundwahrscheinlichkeitsfunktion $P_{ XW }(X, W)$ nach der unteren Skizze ergeben. Die Wahrscheinlichkeiten sind in allen weiß hinterlegten Feldern jeweils Null.
Gesucht ist in der vorliegenden Aufgabe die Transinformation zwischen
Gesucht ist in der vorliegenden Aufgabe die Transinformation zwischen
:*den Zufallsgrößen $X$ und $W$ ⇒ $I(X; W)$,
*Die Aufgabe gehört zum Kapitel [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen|Verschiedene Entropien zweidimensionaler Zufallsgrößen]].
*Die Aufgabe gehört zum Kapitel [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen|Verschiedene Entropien zweidimensionaler Zufallsgrößen]].
*Insbesondere wird Bezug genommen auf die Seiten [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen#Bedingte_Wahrscheinlichkeit_und_bedingte_Entropie|Bedingte Wahrscheinlichkeit und bedingte Entropie]] sowie [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen#Transinformation_zwischen_zwei_Zufallsgr.C3.B6.C3.9Fen|Transinformation zwischen zwei Zufallsgrößen]].
*Insbesondere wird Bezug genommen auf die Seiten <br> [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen#Bedingte_Wahrscheinlichkeit_und_bedingte_Entropie|Bedingte Wahrscheinlichkeit und bedingte Entropie]] sowie <br> [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen#Transinformation_zwischen_zwei_Zufallsgr.C3.B6.C3.9Fen|Transinformation zwischen zwei Zufallsgrößen]].
*Sollte die Eingabe des Zahlenwertes „0” erforderlich sein, so geben Sie bitte „0.” ein.
Zeile 30:
Zeile 35:
<quiz display=simple>
<quiz display=simple>
{Wie könnten die Größen $X$, $Y$ und $W$ zusammenhängen?
{Wie könnten die Größen $X$, $Y$ und $W$ zusammenhängen?
|type="[]"}
|type="[]"}
+ $W = X + Y$,
+ $W = X + Y$,
+$W = X – Y + 2$,
+$W = X - Y + 2$,
-$W = Y – X + 2$.
-$W = Y - X + 2$.
{Welche Transinformationen besteht zwischen den Zufallsgrößen $X$ und $W$?
{Welche Transinformation besteht zwischen den Zufallsgrößen $X$ und $W$?
|type="{}"}
|type="{}"}
$I(X; W) \ = \ $ { 0.612 3% } $\ \rm bit$
$I(X; W) \ = \ $ { 0.612 3% } $\ \rm bit$
{Welche Transinformation besteht zwischen den Zufallsgrößen $Z$ und $W$?
{Welche Transinformation besteht zwischen den Zufallsgrößen $Z$ und $W$?
|type="{}"}
|type="{}"}
$I(Z; W) \ = \ $ { 2.197 3% } $\ \rm bit$
$I(Z; W) \ = \ $ { 2.197 3% } $\ \rm bit$
Zeile 46:
Zeile 51:
{Welche der nachfolgenden Aussagen sind zutreffend?
{Welche der nachfolgenden Aussagen sind zutreffend?
|type="[]"}
|type="[]"}
+ Es gilt $H(ZW) = H(XW)$.
+ Es gilt $H(ZW) = H(XW)$.
+ Es gilt $H(W|Z) = 0$.
+ Es gilt $H(W|Z) = 0$.
+ Es gilt $I(Z; W) > I(X; W)$.
+ Es gilt $I(Z; W) > I(X; W)$.
</quiz>
</quiz>
Zeile 54:
Zeile 59:
===Musterlösung===
===Musterlösung===
{{ML-Kopf}}
{{ML-Kopf}}
'''1.''' Mit $X = \{0, 1, 2\}$, $Y = \{0, 1, 2\}$ gilt $X + Y = \{0, 1, 2, 3, 4\}$ und auch die Wahrscheinlichkeiten stimmen mit der vorgegebenen Wahrscheinlichkeitsfunktion überein. Die Überprüfung der beiden anderen Vorgaben zeigt, dass auch $W = X – Y + 2$ möglich ist $\Rightarrow$ $Lösungsvorschläge 1$ und $2$.
'''(1)''' Richtig sind die <u>Lösungsvorschläge 1 und 2</u>:
Mit $H(X) = 1.585$ bit (wurde angegeben) ergibt sich somit für die ''Mutual Information'':
$$I(X;W) = H(X) + H(W) - H(XW)=$$
$$=1.585+2.197-3.170=0.612(bit)$$
[[Datei:P_ID2769__Inf_A_3_7d.png|right|]]
Das Rechte Schaubild verdeutlicht die Berechnung der Transinformation $I(X; W)$ zwischen der ersten Komponente $X$ und der Summe $W$.
'''3.''' Die Grafik zeigt die Verbundwahrscheinlichkeit $P_{ ZW }(⋅)$. Das Schema besteht aus $5 · 9 = 45$ Feldern im Gegensatz zur Darstellung von $P_{ XW }(⋅)$ auf der Angabenseite mit $3 · 9 = 27$ Feldern.
[[Datei:P_ID2770__Inf_A_3_7c.png|right|]]
Von den $45$ Feldern sind aber auch nur neun mit Wahrscheinlichkeiten $≠ 0$ belegt. Für die Verbundentropie gilt:
[[Datei:P_ID2769__Inf_A_3_7d.png|right|frame|Zur Berechnung der Transinformation]]
$H(ZW) = 3.170(bit)$
Mit den weiteren Entropien
'''(2)''' Aus der 2D–Wahrscheinlichkeitsfunktion $P_{ XW }(X, W)$ auf der Angabenseite erhält man für
entsprechend der [http://www.lntwww.de/Aufgaben:3.07Z_Tupel_aus_tern%C3%A4ren_Zufallsgr%C3%B6%C3%9Fen Aufgabe Z3.7] bzw. der Teilaufgabe (b) erhält man für die Transinformation:
$$I(Z;W) = H(Z) + H(W) - H(ZW) = 2.197 (bit)$$
Das linke der beiden Schaubilder verdeutlicht die Berechnung der Transinformation $I(X; W)$ zwischen der ersten Komponente $X$ und der Summe $W$.
wie auch aus dem rechten oberen Schaubild hervorgeht.
<br clear=all>
'''4.''' $Alle$ $drei$ $Aussagen$ treffen zu, wie auch aus dem oberen Schaubild ersichtlich ist. Wir versuchen eine Interpretation dieser numerischen Ergebnisse:
:* Die Verbundwahrscheinlichkeit $P_{ ZW }$ setzt sich ebenso wie $P_{ XW }$ aus neun gleichwahrscheinlichen Elementen $≠ 0$ zusammen. Damit ist offensichtlich, dass auch die Verbundentropien gleich sind:
'''(3)''' Die zweite Grafik zeigt die Verbundwahrscheinlichkeit $P_{ ZW }(⋅)$.
*Das Schema besteht aus $5 · 9 = 45$ Feldern im Gegensatz zur Darstellung von $P_{ XW }(⋅)$ auf der Angabenseite mit $3 · 9 = 27$ Feldern.
*Von den $45$ Feldern sind aber auch nur neun mit Wahrscheinlichkeiten ungleich Null belegt. Für die Verbundentropie gilt: $H(ZW) = 3.170\ {\rm (bit)} \hspace{0.05cm}.$
*Mit den weiteren Entropien $H(Z) = 3.170\ {\rm (bit)}\hspace{0.05cm}$ und $H(W) = 2.197\ {\rm (bit)}\hspace{0.05cm}$ entsprechend der [[Aufgaben:3.07Z_Tupel_aus_tern%C3%A4ren_Zufallsgr%C3%B6%C3%9Fen| Aufgabe 3.8Z]] bzw. der Teilfrage '''(2)''' dieser Aufgabe erhält man für die Transinformation:
:* Wenn ich das Tupel $Z = (X, Y)$ kenne, kenne ich natürlich auch die Summe $W = X + Y$. Damit ist $H(W|Z) = 0$. Dagegen ist $H(Z|W)$ ungleich $0$. Vielmehr gilt $H(Z|W) = H(X|W) = 0.973 bit$.
:* Die Zufallsgröße $W$ liefert also die genau gleiche Information hinsichtlich des Tupels $Z$ wie für die Einzelkomponente $X$. Dies ist die verbale Interpretation für die Aussage $H(Z|W) = H(X|W)$
:* Die gemeinsame Information von $Z$ und $W \Rightarrow I(Z; W)$ ist größer als die von $X und W \Rightarrow I(X; W)$, weil $H(W|Z)$ gleich $0$ ist, während $H(W|X)$ ungleich $0$ ist, nämlich genau so groß ist wie $H(X)$ :
'''(4)''' <u>Alle drei Aussagen</u> treffen zu, wie aus dem rechten der beiden oberen Schaubilder ersichtlich ist. Wir versuchen eine Interpretation dieser numerischen Ergebnisse:
* Die Verbundwahrscheinlichkeit $P_{ ZW }(⋅)$ setzt sich ebenso wie $P_{ XW }(⋅)$ aus neun gleichwahrscheinlichen Elementen ungleich 0 zusammen. Damit ist offensichtlich, dass auch die Verbundentropien gleich sind ⇒ $H(ZW) = H(XW) = 3.170 \ \rm (bit)$.
* Wenn ich das Tupel $Z = (X, Y)$ kenne, kenne ich natürlich auch die Summe $W = X + Y$. Damit ist $H(W|Z) = 0$.
* Die Zufallsgröße $W$ liefert also die genau gleiche Information hinsichtlich des Tupels $Z$ wie für die Einzelkomponente $X$. Dies ist die verbale Interpretation der Aussage $H(Z|W) = H(X|W)$.
* Die gemeinsame Information von $Z$ und $W$ ⇒ $I(Z; W)$ ist größer als die gemeinsame Information von $X$ und $W$ ⇒ $I(X; W)$, weil $H(W|Z) =0$ gilt, während $H(W|X)$ ungleich Null ist, nämlich genau so groß ist wie $H(X)$ :
Die gemeinsame Wahrscheinlichkeitsfunktion $P_{ XY }(X, Y)$ beider Zufallsgrößen ist in der oberen Grafik angegeben.
In der Aufgabe 3.8Z wird diese Konstellation ausführlich analysiert. Man erhält als Ergebnis (alle Angaben in „bit”):
$H(X) = H(Y) = \log_2 (3) = 1.585,$
$H(XY) = \log_2 (9) = 3.170,$
$I(X, Y) = 0,$
$H(Z) = H(XZ) = 3.170,$
$I(X, Z) = 1.585.$
Desweiteren betrachten wir die Zufallsgröße $W = \{ 0,\ 1,\ 2,\ 3,\ 4 \}$, deren Eigenschaften sich aus der Verbundwahrscheinlichkeitsfunktion $P_{ XW }(X, W)$ nach der unteren Skizze ergeben. Die Wahrscheinlichkeiten sind in allen weiß hinterlegten Feldern jeweils Null.
Gesucht ist in der vorliegenden Aufgabe die Transinformation zwischen
Das linke der beiden Schaubilder verdeutlicht die Berechnung der Transinformation $I(X; W)$ zwischen der ersten Komponente $X$ und der Summe $W$.
Verbundwahrscheinlichkeit zwischen $Z$ und $W$
(3) Die zweite Grafik zeigt die Verbundwahrscheinlichkeit $P_{ ZW }(⋅)$.
Das Schema besteht aus $5 · 9 = 45$ Feldern im Gegensatz zur Darstellung von $P_{ XW }(⋅)$ auf der Angabenseite mit $3 · 9 = 27$ Feldern.
Von den $45$ Feldern sind aber auch nur neun mit Wahrscheinlichkeiten ungleich Null belegt. Für die Verbundentropie gilt: $H(ZW) = 3.170\ {\rm (bit)} \hspace{0.05cm}.$
Mit den weiteren Entropien $H(Z) = 3.170\ {\rm (bit)}\hspace{0.05cm}$ und $H(W) = 2.197\ {\rm (bit)}\hspace{0.05cm}$ entsprechend der Aufgabe 3.8Z bzw. der Teilfrage (2) dieser Aufgabe erhält man für die Transinformation:
(4)Alle drei Aussagen treffen zu, wie aus dem rechten der beiden oberen Schaubilder ersichtlich ist. Wir versuchen eine Interpretation dieser numerischen Ergebnisse:
Die Verbundwahrscheinlichkeit $P_{ ZW }(⋅)$ setzt sich ebenso wie $P_{ XW }(⋅)$ aus neun gleichwahrscheinlichen Elementen ungleich 0 zusammen. Damit ist offensichtlich, dass auch die Verbundentropien gleich sind ⇒ $H(ZW) = H(XW) = 3.170 \ \rm (bit)$.
Wenn ich das Tupel $Z = (X, Y)$ kenne, kenne ich natürlich auch die Summe $W = X + Y$. Damit ist $H(W|Z) = 0$.
Dagegen ist $H(Z|W) \ne 0$. Vielmehr gilt $H(Z|W) = H(X|W) = 0.973 \ \rm (bit)$.
Die Zufallsgröße $W$ liefert also die genau gleiche Information hinsichtlich des Tupels $Z$ wie für die Einzelkomponente $X$. Dies ist die verbale Interpretation der Aussage $H(Z|W) = H(X|W)$.
Die gemeinsame Information von $Z$ und $W$ ⇒ $I(Z; W)$ ist größer als die gemeinsame Information von $X$ und $W$ ⇒ $I(X; W)$, weil $H(W|Z) =0$ gilt, während $H(W|X)$ ungleich Null ist, nämlich genau so groß ist wie $H(X)$ :
