Wir betrachten das Tupel $Z = (X, Y)$, wobei die Einzelkomponenten $X$ und $Y$ jeweils ternäre Zufallsgrößen darstellen ⇒ Symbolumfang $|X| = |Y| = 3$. Die gemeinsame Wahrscheinlichkeitsfunktion $P_{ XY }(X, Y)$ ist rechts skizziert.
In dieser Aufgabe sind zu berechnen:
die Verbundentropie $H(XY)$ und die Transinformation $I(X; Y)$,
die Verbundentropie $H(XZ)$ und die Transinformation $I(X; Z)$,
die beiden bedingten Entropien $H(Z|X)$ und $H(X|Z)$.
Zum gleichen Ergebnis kommt man über die Gleichung $I(X; Y) = H(X) + H(Y) - H(XY)$.
Wahrscheinlichkeitsfunktion der 2D-Zufallsgröße $XZ$
(3) Interpretiert man $I(X; Z)$ als die verbleibende Unsicherheit hinsichtlich des Tupels $Z$, wenn die erste Komponente $X$ bekannt ist, so gilt offensichtlich:
Rein formal lässt sich diese Aufgabe auch wie folgt lösen:
Die Entropie $H(Z)$ ist gleich der Verbundentropie $H(XY) = 3.170 \ \rm bit$.
Die Verbundwahrscheinlichkeit $P_{ XZ }(X, Z)$ beinhaltet neun Elemente der Wahrscheinlichkeit $1/9$, alle anderen sind mit Nullen belegt ⇒ $H(XZ) = \log_2 (9) = 3.170 \ \rm bit $.
Damit gilt für die Transinformation $($gemeinsame Information der Zufallsgrößen $X$ und $Z)$:
$H(Z|X)$ gibt die Restunsicherheit hinsichtlich des Tupels $Z$ an, wenn man die erste Komponente $X$ kennt.
Die Unsicherheit hinsichtlich des Tupels $Z$ ist $H(Z) = 2 · \log_2 (3) \ \rm bit$.
Bei Kenntnis der Komponente $X$ halbiert sich die Unsicherheit auf $H(Z|X) = \log_2 (3)\ \rm bit$.
$H(X|Z)$ gibt die verbleibende Unsicherheit hinsichtlich der Komponente $X$ an, wenn man das Tupel $Z = (X, Y)$ kennt. Diese Unsicherheit ist natürlich Null: Kennt man $Z$, so kennt man auch $X$.
