Aufgaben:Aufgabe 3.8Z: Tupel aus ternären Zufallsgrößen - Versionsgeschichte

Guenter am 21. September 2021 um 13:33 Uhr

2021-09-21T13:33:49Z

Guenter am 20. September 2021 um 16:53 Uhr

2021-09-20T16:53:39Z

Guenter am 20. September 2021 um 16:35 Uhr

2021-09-20T16:35:49Z

Guenter am 31. Januar 2020 um 13:57 Uhr

2020-01-31T13:57:06Z

Guenter am 31. Januar 2020 um 13:45 Uhr

2020-01-31T13:45:17Z

Guenter am 9. Oktober 2018 um 16:11 Uhr

2018-10-09T16:11:29Z

Guenter am 9. Oktober 2018 um 15:57 Uhr

2018-10-09T15:57:02Z

Mwiki-lnt: Textersetzung - „\\sSollte die Eingabe des Zahlenwertes „0” erforderlich sein, so geben Sie bitte „0\.” ein.“ durch „ “

2018-05-29T12:03:47Z

Textersetzung - „\*\s*Sollte die Eingabe des Zahlenwertes „0” erforderlich sein, so geben Sie bitte „0\.” ein.“ durch „ “

Guenter: Guenter verschob die Seite Aufgaben:3.8Z Tupel aus ternären Zufallsgrößen nach Aufgaben:Aufgabe 3.8Z: Tupel aus ternären Zufallsgrößen

2018-01-03T14:05:44Z

Guenter verschob die Seite 3.8Z Tupel aus ternären Zufallsgrößen nach Aufgabe 3.8Z: Tupel aus ternären Zufallsgrößen

Guenter am 1. Juni 2017 um 15:03 Uhr

2017-06-01T15:03:20Z

@@ Zeile 4: / Zeile 4: @@
 }}
-[[Datei:P_ID2771__Inf_Z_3_7.png|right|frame|PMF &nbsp;$P_{ XY }(X, Y)$]]
+[[Datei:P_ID2771__Inf_Z_3_7.png|right|PMF &nbsp;$P_{ XY }(X, Y)$]]
 Wir betrachten das Tupel&nbsp; $Z = (X, Y)$,&nbsp; wobei die Einzelkomponenten&nbsp; $X$&nbsp; und&nbsp; $Y$&nbsp; jeweils ternäre Zufallsgrößen darstellen &nbsp; &rArr; &nbsp;  Symbolumfang&nbsp; $|X| = |Y| = 3$.&nbsp; Die gemeinsame Wahrscheinlichkeitsfunktion&nbsp; $P_{ XY }(X, Y)$&nbsp; ist rechts skizziert.

@@ Zeile 66: / Zeile 66: @@
 *Daraus folgt:
 :$$H(XY) =  {\rm log}_2 \hspace{0.1cm} (9) \hspace{0.15cm}\underline{= 3.170\,{\rm (bit)}} \hspace{0.05cm}.$$
 '''(2)'''&nbsp;  Die Zufallsgrößen&nbsp; $X$&nbsp; und&nbsp; $Y$&nbsp; sind wegen&nbsp; $P_{ XY }(⋅) = P_X(⋅) · P_Y(⋅)$&nbsp; statistisch unabhängig.
 *Daraus folgt&nbsp;  $I(X, Y)\hspace{0.15cm}\underline{ = 0}$.
-*Zum gleichen Ergebnis kommt man über die Gleichung&nbsp; $I(X; Y) = H(X) + H(Y) – H(XY)$.
+*Zum gleichen Ergebnis kommt man über die Gleichung&nbsp; $I(X; Y) = H(X) + H(Y) - H(XY)$.
 [[Datei:P_ID2774__Inf_Z_3_7c.png|right|frame|Wahrscheinlichkeitsfunktion der 2D-Zufallsgröße&nbsp; $XZ$]]
 :$$ I(X; Z) = H(Y)\hspace{0.15cm}\underline{  = 1.585 \ \rm bit}.$$
@@ Zeile 93: / Zeile 91: @@
 :$$H(X \hspace{-0.1cm}\mid \hspace{-0.1cm} Z)  = H(XZ) - H(Z) = 3.170-3.170\hspace{0.15cm} \underline {=0\ {\rm (bit)}}  \hspace{0.05cm}.$$
-* $H(Z|X)$&nbsp; gibt die Restunsicherheit hinsichtlich des Tupels&nbsp; $Z$ an, wenn man die erste Komponente&nbsp; $X$&nbsp; kennt.
+* $H(Z|X)$&nbsp; gibt die Restunsicherheit hinsichtlich des Tupels&nbsp; $Z$&nbsp; an,&nbsp; wenn man die erste Komponente&nbsp; $X$&nbsp; kennt.
-*Die Unsicherheit hinsichtlich des Tupels&nbsp; $Z$&nbsp; ist $H(Z) = 2 · \log_2 (3) \ \rm bit$.
+*Die Unsicherheit hinsichtlich des Tupels&nbsp; $Z$&nbsp; ist&nbsp; $H(Z) = 2 · \log_2 (3) \ \rm bit$.
 * Bei Kenntnis der Komponente&nbsp; $X$&nbsp; halbiert sich die Unsicherheit auf&nbsp; $H(Z|X) = \log_2 (3)\ \rm  bit$.
-* $H(X|Z)$&nbsp; gibt die verbleibende Unsicherheit hinsichtlich der Komponente&nbsp; $X$&nbsp; an, wenn man das Tupel&nbsp; $Z = (X, Y)$&nbsp; kennt.&nbsp;
+* $H(X|Z)$&nbsp; gibt die verbleibende Unsicherheit hinsichtlich der Komponente&nbsp; $X$&nbsp; an, wenn man das Tupel&nbsp; $Z = (X, Y)$&nbsp; kennt.&nbsp; Diese Unsicherheit ist natürlich Null: &nbsp; Kennt man&nbsp; $Z$, so kennt man auch&nbsp; $X$.
 {{ML-Fuß}}

@@ Zeile 4: / Zeile 4: @@
 }}
-[[Datei:P_ID2771__Inf_Z_3_7.png|right|frame|&bdquo;Wahrscheinlichkeiten&rdquo; der Zufallsgröße&nbsp; $XY$]]
+[[Datei:P_ID2771__Inf_Z_3_7.png|right|frame|PMF &nbsp;$P_{ XY }(X, Y)$]]
 Wir betrachten das Tupel&nbsp; $Z = (X, Y)$,&nbsp; wobei die Einzelkomponenten&nbsp; $X$&nbsp; und&nbsp; $Y$&nbsp; jeweils ternäre Zufallsgrößen darstellen &nbsp; &rArr; &nbsp;  Symbolumfang&nbsp; $|X| = |Y| = 3$.&nbsp; Die gemeinsame Wahrscheinlichkeitsfunktion&nbsp; $P_{ XY }(X, Y)$&nbsp; ist rechts skizziert.
 In dieser Aufgabe sind zu berechnen:
-* die ''Verbundentropie''&nbsp; $H(XY)$&nbsp; und die ''Transinformation''&nbsp; $I(X; Y)$,
+* die Verbundentropie&nbsp; $H(XY)$&nbsp; und die Transinformation&nbsp; $I(X; Y)$,
-* die ''Verbundentropie''&nbsp; $H(XZ)$&nbsp; und die ''Transinformation''&nbsp; $I(X; Z)$,
+* die Verbundentropie&nbsp; $H(XZ)$&nbsp; und die Transinformation&nbsp; $I(X; Z)$,
-*die beiden ''bedingten Entropien''&nbsp; $H(Z|X)$&nbsp; und&nbsp; $H(X|Z)$.
+*die beiden bedingten Entropien&nbsp; $H(Z|X)$&nbsp; und&nbsp; $H(X|Z)$.

@@ Zeile 54: / Zeile 54: @@
 ===Musterlösung===
 {{ML-Kopf}}
-'''(1)'''&nbsp;  Bei den Zufallsgrößen $X =\{0, 1, 2\}$ &nbsp; &rArr; &nbsp; $|X| = 3$ und $Y = \{0, 1, 2\}$ &nbsp; &rArr; &nbsp; $|Y| = 3$ liegt jeweils eine Gleichverteilung vor. Damit erhält man für die Entropien:
+'''(1)'''&nbsp;  Bei den Zufallsgrößen&nbsp; $X =\{0,\ 1,\ 2\}$ &nbsp; &rArr; &nbsp; $|X| = 3$&nbsp; und&nbsp; $Y = \{0,\ 1,\ 2\}$ &nbsp; &rArr; &nbsp; $|Y| = 3$&nbsp; liegt jeweils eine Gleichverteilung vor.&nbsp;
 :$$H(X) =  {\rm log}_2 \hspace{0.1cm} (3)
@@ Zeile 61: / Zeile 62: @@
 \hspace{0.15cm}\underline{= 1.585\,{\rm (bit)}}\hspace{0.05cm}.$$
-Die 2D–Zufallsgröße $XY = \{00, 01, 02, 10, 11, 12, 20, 21, 22\}$  &nbsp; &rArr; &nbsp;  $|XY| = |Z| = 9$ weist ebenfalls gleiche Wahrscheinlichkeiten auf:
+*Die 2D–Zufallsgröße&nbsp; $XY = \{00,\ 01,\ 02,\ 10,\ 11,\ 12,\ 20,\ 21,\ 22\}$  &nbsp; &rArr; &nbsp;  $|XY| = |Z| = 9$&nbsp; weist ebenfalls gleiche Wahrscheinlichkeiten auf:
 :$$p_{ 00 } = p_{ 01 } =\text{...} = p_{ 22 } = 1/9.$$
-Daraus folgt:
+*Daraus folgt:
 :$$H(XY) =  {\rm log}_2 \hspace{0.1cm} (9) \hspace{0.15cm}\underline{= 3.170\,{\rm (bit)}} \hspace{0.05cm}.$$
 '''(3)'''&nbsp;  Interpretiert man $I(X; Z)$ als die verbleibende Unsicherheit hinsichtlich des Tupels $Z$, wenn die erste Komponente $X$ bekannt ist, so gilt offensichtlich
 :$$ I(X; Z) = H(Y)\hspace{0.15cm}\underline{  = 1.585 \ \rm bit}.$$
 Rein formal lässt sich diese Aufgabe auch wie folgt lösen:
-* Die Entropie $H(Z)$ ist gleich der Verbundentropie $H(XY) = 3.170 \ \rm bit$.
+* Die Entropie&nbsp; $H(Z)$&nbsp; ist gleich der Verbundentropie&nbsp; $H(XY) = 3.170 \ \rm bit$.
-* Die Verbundwahrscheinlichkeit $P_{ XZ }(X, Z)$ beinhaltet neun Elemente der Wahrscheinlichkeit $1/9$, alle anderen sind mit Nullen belegt &nbsp; &rArr; &nbsp;   $H(XZ) = \log_2 (9) = 3.170 \ \rm bit $.
+* Die Verbundwahrscheinlichkeit&nbsp; $P_{ XZ }(X, Z)$&nbsp; beinhaltet neun Elemente der Wahrscheinlichkeit&nbsp; $1/9$,&nbsp; alle anderen sind mit Nullen belegt &nbsp; &rArr; &nbsp;   $H(XZ) = \log_2 (9) = 3.170 \ \rm bit $.
-* Damit gilt für die Transinformation (gemeinsame Information der Zufallsgrößen $X$ &nbsp;und&nbsp; $Z$):
+* Damit gilt für die Transinformation&nbsp; $($gemeinsame Information der Zufallsgrößen&nbsp; $X$&nbsp; und&nbsp; $Z)$:
 :$$I(X;Z) = H(X) + H(Z) - H(XZ) = 1.585 + 3.170- 3.170\hspace{0.15cm} \underline {= 1.585\,{\rm (bit)}} \hspace{0.05cm}.$$
-[[Datei:P_ID2773__Inf_Z_3_7d.png|right|frame|Entropien der 2D-Zufallsgröße $XZ$]]
+[[Datei:P_ID2773__Inf_Z_3_7d.png|right|frame|Entropien der 2D-Zufallsgröße&nbsp; $XZ$]]
 '''(4)'''&nbsp;  Entsprechend der zweiten Grafik gilt:
-:$$H(Z \hspace{-0.1cm}\mid \hspace{-0.1cm} X) = H(XZ) - H(X) = 3.170-1.585\hspace{0.15cm} \underline {=1.585\,{\rm (bit)}} \hspace{0.05cm},$$
+:$$H(Z \hspace{-0.1cm}\mid \hspace{-0.1cm} X) = H(XZ) - H(X) = 3.170-1.585\hspace{0.15cm} \underline {=1.585\ {\rm (bit)}} \hspace{0.05cm},$$
-:$$H(X \hspace{-0.1cm}\mid \hspace{-0.1cm} Z)  = H(XZ) - H(Z) = 3.170-3.170\hspace{0.15cm} \underline {=0\,{\rm (bit)}}  \hspace{0.05cm}.$$
+:$$H(X \hspace{-0.1cm}\mid \hspace{-0.1cm} Z)  = H(XZ) - H(Z) = 3.170-3.170\hspace{0.15cm} \underline {=0\ {\rm (bit)}}  \hspace{0.05cm}.$$
-* $H(Z|X)$ gibt die Restunsicherheit hinsichtlich des Tupels $Z$ an, wenn man die erste Komponente $X$ kennt.
+* $H(Z|X)$&nbsp; gibt die Restunsicherheit hinsichtlich des Tupels&nbsp; $Z$ an, wenn man die erste Komponente&nbsp; $X$&nbsp; kennt.
-*Die Unsicherheit hinsichtlich des Tupels $Z$ ist $H(Z) = 2 · \log_2 (3) \ \rm bit$, bei Kenntnis der Komponente $X$ halbiert sich die Unsicherheit auf $H(Z|X) = \log_2 (3)\ \rm  bit$.
+*Die Unsicherheit hinsichtlich des Tupels&nbsp; $Z$&nbsp; ist $H(Z) = 2 · \log_2 (3) \ \rm bit$.
-* $H(X|Z)$ gibt die verbleibende Unsicherheit hinsichtlich der Komponente $X$ an, wenn man das Tupel $Z = (X, Y)$ kennt. Diese Unsicherheit ist natürlich Null: &nbsp; Kennt man $Z$, so kennt man auch $X$.
+* Bei Kenntnis der Komponente&nbsp; $X$&nbsp; halbiert sich die Unsicherheit auf&nbsp; $H(Z|X) = \log_2 (3)\ \rm  bit$.
 {{ML-Fuß}}

@@ Zeile 4: / Zeile 4: @@
 }}
-[[Datei:P_ID2771__Inf_Z_3_7.png|right|frame|&bdquo;Wahrscheinlichkeiten&rdquo; der Zufallsgröße $XY$]]
+[[Datei:P_ID2771__Inf_Z_3_7.png|right|frame|&bdquo;Wahrscheinlichkeiten&rdquo; der Zufallsgröße&nbsp; $XY$]]
-Wir betrachten das Tupel $Z = (X, Y)$, wobei die Einzelkomponenten $X$ und $Y$ jeweils ternäre Zufallsgrößen darstellen &nbsp; &rArr; &nbsp;  Symbolumfang $|X| = |Y| = 3$. Die gemeinsame Wahrscheinlichkeitsfunktion $P_{ XY }(X, Y)$ ist rechts skizziert.
+Wir betrachten das Tupel&nbsp; $Z = (X, Y)$,&nbsp; wobei die Einzelkomponenten&nbsp; $X$&nbsp; und&nbsp; $Y$&nbsp; jeweils ternäre Zufallsgrößen darstellen &nbsp; &rArr; &nbsp;  Symbolumfang&nbsp; $|X| = |Y| = 3$.&nbsp; Die gemeinsame Wahrscheinlichkeitsfunktion&nbsp; $P_{ XY }(X, Y)$&nbsp; ist rechts skizziert.
 In dieser Aufgabe sind zu berechnen:
-* die ''Verbundentropie'' $H(XY)$ und die ''Transinformation'' $I(X; Y)$,
+* die ''Verbundentropie''&nbsp; $H(XY)$&nbsp; und die ''Transinformation''&nbsp; $I(X; Y)$,
-* die ''Verbundentropie'' $H(XZ)$ und die ''Transinformation'' $I(X; Z)$,
+* die ''Verbundentropie''&nbsp; $H(XZ)$&nbsp; und die ''Transinformation''&nbsp; $I(X; Z)$,
-*die beiden ''bedingten Entropien'' $H(Z|X)$ und $H(X|Z)$.
+*die beiden ''bedingten Entropien''&nbsp; $H(Z|X)$&nbsp; und&nbsp; $H(X|Z)$.
@@ Zeile 18: / Zeile 21: @@
 ''Hinweise:''
 *Die Aufgabe gehört zum  Kapitel&nbsp; [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen|Verschiedene Entropien zweidimensionaler Zufallsgrößen]].
-*Insbesondere wird Bezug genommen auf die Seiten&nbsp; <br> &nbsp; &nbsp; [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen#Bedingte_Wahrscheinlichkeit_und_bedingte_Entropie|Bedingte Wahrscheinlichkeit und bedingte Entropie]] sowie <br> &nbsp; &nbsp;[[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen#Transinformation_zwischen_zwei_Zufallsgr.C3.B6.C3.9Fen|Transinformation zwischen zwei Zufallsgrößen]].
+*Insbesondere wird Bezug genommen auf die Seiten&nbsp; <br> &nbsp; &nbsp; [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen#Bedingte_Wahrscheinlichkeit_und_bedingte_Entropie|Bedingte Wahrscheinlichkeit und bedingte Entropie]] &nbsp; sowie <br> &nbsp; &nbsp;[[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen#Transinformation_zwischen_zwei_Zufallsgr.C3.B6.C3.9Fen|Transinformation zwischen zwei Zufallsgrößen]].
@@ Zeile 32: / Zeile 35: @@
 $ H(XY)\ = \ $ { 3.17 3% } $\ \rm bit$
-{Welche Transinformation besteht zwischen den Zufallsgrößen $X$ und $Y$?
+{Welche Transinformation besteht zwischen den Zufallsgrößen&nbsp; $X$&nbsp; und&nbsp; $Y$?
 |type="{}"}
 $I(X; Y)\ = \ $ { 0. } $\ \rm bit$
-{Welche Transinformation besteht zwischen den Zufallsgrößen $X$ und $Z$?
+{Welche Transinformation besteht zwischen den Zufallsgrößen&nbsp; $X$&nbsp; und&nbsp; $Z$?
 |type="{}"}
 $I(X; Z)\ = \ $ { 1.585 3% } $\ \rm bit$
-{Welche bedingten Entropien bestehen zwischen $X$ und $Z$?
+{Welche bedingten Entropien bestehen zwischen&nbsp; $X$&nbsp; und&nbsp; $Z$?
 |type="{}"}
 $H(Z|X)\ = \ $ { 1.585 3% } $\ \rm bit$

@@ Zeile 16: / Zeile 16: @@
 *Die Aufgabe gehört zum  Kapitel [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen|Verschiedene Entropien zweidimensionaler Zufallsgrößen]].
 *Insbesondere wird Bezug genommen auf die Seiten [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen#Bedingte_Wahrscheinlichkeit_und_bedingte_Entropie|Bedingte Wahrscheinlichkeit und bedingte Entropie]] sowie [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen#Transinformation_zwischen_zwei_Zufallsgr.C3.B6.C3.9Fen|Transinformation zwischen zwei Zufallsgrößen]].
-*Sollte die Eingabe des Zahlenwertes &bdquo;0&rdquo; erforderlich sein, so geben Sie bitte &bdquo;0.&rdquo; ein.

← Nächstältere Version	Version vom 3. Januar 2018, 14:05 Uhr
(kein Unterschied)

@@ Zeile 63: / Zeile 63: @@
 '''(3)'''&nbsp;  Interpretiert man $I(X; Z)$ als die verbleibende Unsicherheit hinsichtlich des Tupels $Z$, wenn die erste Komponente $X$ bekannt ist, so gilt offensichtlich$ I(X; Z) = H(Y)\hspace{0.15cm}\underline{  = 1.585 \ \rm bit}$.
 Rein formal lässt sich diese Aufgabe auch wie folgt lösen:
-:* Die Entropie $H(Z)$ ist gleich der Verbundentropie $H(XY) = 3.170 bit$.
+* Die Entropie $H(Z)$ ist gleich der Verbundentropie $H(XY) = 3.170 \ \rm bit$.
-[[Datei:P_ID2773__Inf_Z_3_7d.png|right|]]
+* Die Verbundwahrscheinlichkeit $P_{ XZ }(X, Z)$ beinhaltet neun Elemente der Wahrscheinlichkeit $1/9$, alle anderen sind mit Nullen belegt &nbsp; &rArr; &nbsp;   $H(XZ) = log2 (9) = 3.170 \ \rm bit $.
-:* Die Verbundwahrscheinlichkeit $P_{ XZ }(X, Z)$ beinhaltet neun Elemente der Wahrscheinlichkeit $1/9$, alle anderen sind mit Nullen belegt (Rechte Grafik)  $\Rightarrow   H(XZ) = log2 (9) = 3.170 bit$.
+* Damit gilt für die Transinformation (gemeinsame Information der Zufalsgrößen $X$ und $Z$):
-:* Damit gilt für die Transinformation (gemeinsame Information der Zufalsgrößen $X$ und $Z$):
+[[Datei:P_ID2773__Inf_Z_3_7d.png|right|Entropien der Zufallsgrößen <i>X</i> und <i>Z</i>]]
-$$I(X;Z) = H(X) + H(Z) - H(XZ) = $$
+'''(4)'''&nbsp;  Entsprechend der zweiten Grafik gilt:
-$$= 1.585 +3.170 - 3170 = 1.585 (bit)$$
+:$$H(Z \hspace{-0.1cm}\mid \hspace{-0.1cm} X) = H(XZ) - H(X) = 3.170-1.585\hspace{0.15cm} \underline {=1.585\,{\rm (bit)}} \hspace{0.05cm},$$
+* $H(Z|X)$ gibt die Restunsicherheit hinsichtlich des Tupels $Z$ an, wenn man die erste Komponente $X$ kennt. Die Unsicherheit hinsichtlich des Tupels $Z$ ist $H(Z) = 2 · \log_2 (3) bit$, bei Kenntnis der Komponente $X$ halbiert sich die Unsicherheit auf $H(Z|X) = \log2 (3) bit$.
+* $H(X|Z)$gibt die verbleibende Unsicherheit hinsichtlich der Komponente $X$ an, wenn man das Tupel $Z = (X, Y)$ kennt. Diese Unsicherheit ist natürlich Null: Kennt man $Z$, so kennt man auch $X$.
 {{ML-Fuß}}