Wir betrachten das Tupel $Z = (X, Y)$, wobei die Einzelkomponenten $X$ und $Y$ jeweils ternäre Zufallsgrößen darstellen ⇒ Symbolumfang $|X| = |Y| = 3$. Die gemeinsame Wahrscheinlichkeitsfunktion $P_{ XY }(X, Y)$ ist rechts skizziert.
Wir betrachten das Tupel $Z = (X, Y)$, wobei die Einzelkomponenten $X$ und $Y$ jeweils ternäre Zufallsgrößen darstellen ⇒ Symbolumfang $|X| = |Y| = 3$. Die gemeinsame Wahrscheinlichkeitsfunktion $P_{ XY }(X, Y)$ ist rechts skizziert.
In dieser Aufgabe sind zu berechnen:
In dieser Aufgabe sind zu berechnen:
* die ''Verbundentropie'' $H(XY)$ und die ''Transinformation'' $I(X; Y)$,
* die Verbundentropie $H(XY)$ und die Transinformation $I(X; Y)$,
* die ''Verbundentropie'' $H(XZ)$ und die ''Transinformation'' $I(X; Z)$,
* die Verbundentropie $H(XZ)$ und die Transinformation $I(X; Z)$,
*die beiden ''bedingten Entropien'' $H(Z|X)$ und $H(X|Z)$.
*die beiden bedingten Entropien $H(Z|X)$ und $H(X|Z)$.
''Hinweise:''
''Hinweise:''
*Die Aufgabe gehört zum Kapitel [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen|Verschiedene Entropien zweidimensionaler Zufallsgrößen]].
*Die Aufgabe gehört zum Kapitel [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen|Verschiedene Entropien zweidimensionaler Zufallsgrößen]].
*Insbesondere wird Bezug genommen auf die Seiten [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen#Bedingte_Wahrscheinlichkeit_und_bedingte_Entropie|Bedingte Wahrscheinlichkeit und bedingte Entropie]] sowie [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen#Transinformation_zwischen_zwei_Zufallsgr.C3.B6.C3.9Fen|Transinformation zwischen zwei Zufallsgrößen]].
*Insbesondere wird Bezug genommen auf die Seiten <br> [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen#Bedingte_Wahrscheinlichkeit_und_bedingte_Entropie|Bedingte Wahrscheinlichkeit und bedingte Entropie]] sowie <br> [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen#Transinformation_zwischen_zwei_Zufallsgr.C3.B6.C3.9Fen|Transinformation zwischen zwei Zufallsgrößen]].
Zeile 29:
Zeile 35:
$ H(XY)\ = \ $ { 3.17 3% } $\ \rm bit$
$ H(XY)\ = \ $ { 3.17 3% } $\ \rm bit$
{Welche Transinformationen besteht zwischen den Zufallsgrößen $X$ und $Y$?
{Welche Transinformation besteht zwischen den Zufallsgrößen $X$ und $Y$?
|type="{}"}
|type="{}"}
$I(X; Y)\ = \ $ { 0. } $\ \rm bit$
$I(X; Y)\ = \ $ { 0. } $\ \rm bit$
{Welche Transinformationen besteht zwischen den Zufallsgrößen $X$ und $Z$?
{Welche Transinformation besteht zwischen den Zufallsgrößen $X$ und $Z$?
|type="{}"}
|type="{}"}
$I(X; Z)\ = \ $ { 1.585 3% } $\ \rm bit$
$I(X; Z)\ = \ $ { 1.585 3% } $\ \rm bit$
{Welche bedingten Entropien bestehen zwischen $X$ und $Z$?
'''(1)''' Bei den beiden Zufallsgrößen $X =\{0, 1, 2\}$ ⇒ $|X| = 3$ und $Y = \{0, 1, 2\}$ ⇒ $|Y| = 3$ liegt jeweils eine Gleichverteilung vor. Damit erhält man für die Entropien:
'''(1)''' Bei den Zufallsgrößen $X =\{0,\ 1,\ 2\}$ ⇒ $|X| = 3$ und $Y = \{0,\ 1,\ 2\}$ ⇒ $|Y| = 3$ liegt jeweils eine Gleichverteilung vor.
'''(2)''' Die Zufallsgrößen$X$und $Y$ sind wegen $P_{ XY }(⋅) = P_X(⋅) · P_Y(⋅)$ statistisch unabhängig ⇒ $I(X, Y)\hspace{0.15cm}\underline{ = 0}$. Zum gleichen Ergebnis kommt man über die Gleichung $I(X; Y) = H(X) + H(Y) – H(XY)$.
'''(2)''' Die Zufallsgrößen $X$ und $Y$ sind wegen $P_{ XY }(⋅) = P_X(⋅) · P_Y(⋅)$ statistisch unabhängig.
*Zum gleichen Ergebnis kommt man über die Gleichung $I(X; Y) = H(X) + H(Y) - H(XY)$.
'''(3)''' Interpretiert man $I(X; Z)$ als die verbleibende Unsicherheit hinsichtlich des Tupels $Z$, wenn die erste Komponente $X$ bekannt ist, so gilt offensichtlich$ I(X; Z) = H(Y)\hspace{0.15cm}\underline{ = 1.585 \ \rm bit}$.
[[Datei:P_ID2774__Inf_Z_3_7c.png|right|frame|Wahrscheinlichkeitsfunktion der 2D-Zufallsgröße $XZ$]]
'''(3)''' Interpretiert man $I(X; Z)$ als die verbleibende Unsicherheit hinsichtlich des Tupels $Z$, wenn die erste Komponente $X$ bekannt ist, so gilt offensichtlich:
[[Datei:P_ID2774__Inf_Z_3_7c.png|right|Wahrscheinlichkeitsfunion der 2D-Zufallsgrößen (<i>X</i> und <i>Z</i>)]]
Rein formal lässt sich diese Aufgabe auch wie folgt lösen:
Rein formal lässt sich diese Aufgabe auch wie folgt lösen:
* Die Entropie $H(Z)$ ist gleich der Verbundentropie $H(XY) = 3.170 \ \rm bit$.
* Die Entropie $H(Z)$ ist gleich der Verbundentropie $H(XY) = 3.170 \ \rm bit$.
* Die Verbundwahrscheinlichkeit $P_{ XZ }(X, Z)$ beinhaltet neun Elemente der Wahrscheinlichkeit $1/9$, alle anderen sind mit Nullen belegt ⇒ $H(XZ) = log2 (9) = 3.170 \ \rm bit $.
* Die Verbundwahrscheinlichkeit $P_{ XZ }(X, Z)$ beinhaltet neun Elemente der Wahrscheinlichkeit $1/9$, alle anderen sind mit Nullen belegt ⇒ $H(XZ) = \log_2 (9) = 3.170 \ \rm bit $.
* Damit gilt für die Transinformation (gemeinsame Information der Zufalsgrößen $X$ und $Z$):
* Damit gilt für die Transinformation $($gemeinsame Information der Zufallsgrößen $X$ und $Z)$:
* $H(Z|X)$ gibt die Restunsicherheit hinsichtlich des Tupels $Z$ an, wenn man die erste Komponente $X$ kennt. Die Unsicherheit hinsichtlich des Tupels $Z$ ist $H(Z) = 2 · \log_2 (3) bit$, bei Kenntnis der Komponente $X$ halbiert sich die Unsicherheit auf $H(Z|X) = \log2 (3) bit$.
* $H(Z|X)$ gibt die Restunsicherheit hinsichtlich des Tupels $Z$ an, wenn man die erste Komponente $X$ kennt.
* $H(X|Z)$gibt die verbleibende Unsicherheit hinsichtlich der Komponente $X$ an, wenn man das Tupel $Z = (X, Y)$ kennt. Diese Unsicherheit ist natürlich Null: Kennt man $Z$, so kennt man auch $X$.
* Bei Kenntnis der Komponente $X$ halbiert sich die Unsicherheit auf $H(Z|X) = \log_2 (3)\ \rm bit$.
* $H(X|Z)$ gibt die verbleibende Unsicherheit hinsichtlich der Komponente $X$ an, wenn man das Tupel $Z = (X, Y)$ kennt. Diese Unsicherheit ist natürlich Null: Kennt man $Z$, so kennt man auch $X$.
{{ML-Fuß}}
{{ML-Fuß}}
Zeile 84:
Zeile 99:
[[Category:Aufgaben zu Informationstheorie|^3.2 Entropien von 2D-Zufallsgrößen^]]
[[Category:Aufgaben zu Informationstheorie|^3.2 Entropien von 2D-Zufallsgrößen^]]
Wir betrachten das Tupel $Z = (X, Y)$, wobei die Einzelkomponenten $X$ und $Y$ jeweils ternäre Zufallsgrößen darstellen ⇒ Symbolumfang $|X| = |Y| = 3$. Die gemeinsame Wahrscheinlichkeitsfunktion $P_{ XY }(X, Y)$ ist rechts skizziert.
In dieser Aufgabe sind zu berechnen:
die Verbundentropie $H(XY)$ und die Transinformation $I(X; Y)$,
die Verbundentropie $H(XZ)$ und die Transinformation $I(X; Z)$,
die beiden bedingten Entropien $H(Z|X)$ und $H(X|Z)$.
Zum gleichen Ergebnis kommt man über die Gleichung $I(X; Y) = H(X) + H(Y) - H(XY)$.
Wahrscheinlichkeitsfunktion der 2D-Zufallsgröße $XZ$
(3) Interpretiert man $I(X; Z)$ als die verbleibende Unsicherheit hinsichtlich des Tupels $Z$, wenn die erste Komponente $X$ bekannt ist, so gilt offensichtlich:
Rein formal lässt sich diese Aufgabe auch wie folgt lösen:
Die Entropie $H(Z)$ ist gleich der Verbundentropie $H(XY) = 3.170 \ \rm bit$.
Die Verbundwahrscheinlichkeit $P_{ XZ }(X, Z)$ beinhaltet neun Elemente der Wahrscheinlichkeit $1/9$, alle anderen sind mit Nullen belegt ⇒ $H(XZ) = \log_2 (9) = 3.170 \ \rm bit $.
Damit gilt für die Transinformation $($gemeinsame Information der Zufallsgrößen $X$ und $Z)$:
$H(Z|X)$ gibt die Restunsicherheit hinsichtlich des Tupels $Z$ an, wenn man die erste Komponente $X$ kennt.
Die Unsicherheit hinsichtlich des Tupels $Z$ ist $H(Z) = 2 · \log_2 (3) \ \rm bit$.
Bei Kenntnis der Komponente $X$ halbiert sich die Unsicherheit auf $H(Z|X) = \log_2 (3)\ \rm bit$.
$H(X|Z)$ gibt die verbleibende Unsicherheit hinsichtlich der Komponente $X$ an, wenn man das Tupel $Z = (X, Y)$ kennt. Diese Unsicherheit ist natürlich Null: Kennt man $Z$, so kennt man auch $X$.
