Aufgaben:Aufgabe 3.8Z: Tupel aus ternären Zufallsgrößen - Versionsgeschichte

Maintenance script: Add English interlanguage link

2026-03-16T12:36:57Z

Add English interlanguage link

← Nächstältere Version		Version vom 16. März 2026, 14:36 Uhr
Zeile 99:		Zeile 99:

	[[Category:Aufgaben zu Informationstheorie\|^3.2 Entropien von 2D-Zufallsgrößen^]]		[[Category:Aufgaben zu Informationstheorie\|^3.2 Entropien von 2D-Zufallsgrößen^]]
			[[en:Aufgaben:Exercise_3.8Z:_Tuples_from_Ternary_Random_Variables]]

Maintenance script: Fix 2 split formula(s) (join $$...$$ across lines)

2026-02-27T13:59:48Z

Fix 2 split formula(s) (join $$...$$ across lines)

← Nächstältere Version		Version vom 27. Februar 2026, 15:59 Uhr
Zeile 57:		Zeile 57:
	*Damit erhält man für die Entropien:		*Damit erhält man für die Entropien:

	:$$H(X) = {\rm log}_2 \hspace{0.1cm} (3)		:$$H(X) = {\rm log}_2 \hspace{0.1cm} (3) \hspace{0.15cm}\underline{= 1.585\,{\rm (bit)}} \hspace{0.05cm},$$
	\hspace{0.15cm}\underline{= 1.585\,{\rm (bit)}} \hspace{0.05cm},$$		:$$H(Y) = {\rm log}_2 \hspace{0.1cm} (3) \hspace{0.15cm}\underline{= 1.585\,{\rm (bit)}}\hspace{0.05cm}.$$
	:$$H(Y) = {\rm log}_2 \hspace{0.1cm} (3)
	\hspace{0.15cm}\underline{= 1.585\,{\rm (bit)}}\hspace{0.05cm}.$$

	*Die 2D–Zufallsgröße  $XY = \{00,\ 01,\ 02,\ 10,\ 11,\ 12,\ 20,\ 21,\ 22\}$   ⇒   $\|XY\| = \|Z\| = 9$  weist ebenfalls gleiche Wahrscheinlichkeiten auf:		*Die 2D–Zufallsgröße  $XY = \{00,\ 01,\ 02,\ 10,\ 11,\ 12,\ 20,\ 21,\ 22\}$   ⇒   $\|XY\| = \|Z\| = 9$  weist ebenfalls gleiche Wahrscheinlichkeiten auf:

Guenter am 21. September 2021 um 13:33 Uhr

2021-09-21T13:33:49Z

← Nächstältere Version		Version vom 21. September 2021, 15:33 Uhr
Zeile 4:		Zeile 4:
	}}		}}

	[[Datei:P_ID2771__Inf_Z_3_7.png\|right~~\|frame~~\|PMF  $P_{ XY }(X, Y)$]]		[[Datei:P_ID2771__Inf_Z_3_7.png\|right\|PMF  $P_{ XY }(X, Y)$]]
	Wir betrachten das Tupel  $Z = (X, Y)$,  wobei die Einzelkomponenten  $X$  und  $Y$  jeweils ternäre Zufallsgrößen darstellen   ⇒   Symbolumfang  $\|X\| = \|Y\| = 3$.  Die gemeinsame Wahrscheinlichkeitsfunktion  $P_{ XY }(X, Y)$  ist rechts skizziert.		Wir betrachten das Tupel  $Z = (X, Y)$,  wobei die Einzelkomponenten  $X$  und  $Y$  jeweils ternäre Zufallsgrößen darstellen   ⇒   Symbolumfang  $\|X\| = \|Y\| = 3$.  Die gemeinsame Wahrscheinlichkeitsfunktion  $P_{ XY }(X, Y)$  ist rechts skizziert.

Guenter am 20. September 2021 um 16:53 Uhr

2021-09-20T16:53:39Z

← Nächstältere Version		Version vom 20. September 2021, 18:53 Uhr
Zeile 66:		Zeile 66:
	*Daraus folgt:		*Daraus folgt:
	:$$H(XY) = {\rm log}_2 \hspace{0.1cm} (9) \hspace{0.15cm}\underline{= 3.170\,{\rm (bit)}} \hspace{0.05cm}.$$		:$$H(XY) = {\rm log}_2 \hspace{0.1cm} (9) \hspace{0.15cm}\underline{= 3.170\,{\rm (bit)}} \hspace{0.05cm}.$$



	'''(2)'''  Die Zufallsgrößen  $X$  und  $Y$  sind wegen  $P_{ XY }(⋅) = P_X(⋅) · P_Y(⋅)$  statistisch unabhängig.		'''(2)'''  Die Zufallsgrößen  $X$  und  $Y$  sind wegen  $P_{ XY }(⋅) = P_X(⋅) · P_Y(⋅)$  statistisch unabhängig.
	*Daraus folgt  $I(X, Y)\hspace{0.15cm}\underline{ = 0}$.		*Daraus folgt  $I(X, Y)\hspace{0.15cm}\underline{ = 0}$.
	*Zum gleichen Ergebnis kommt man über die Gleichung  $I(X; Y) = H(X) + H(Y) – H(XY)$.		*Zum gleichen Ergebnis kommt man über die Gleichung  $I(X; Y) = H(X) + H(Y) - H(XY)$.




	'''(3)'''  Interpretiert man  $I(X; Z)$  als die verbleibende Unsicherheit hinsichtlich des Tupels  $Z$, wenn die erste Komponente  $X$  bekannt ist, so gilt offensichtlich
	[[Datei:P_ID2774__Inf_Z_3_7c.png\|right\|frame\|Wahrscheinlichkeitsfunktion der 2D-Zufallsgröße  $XZ$]]		[[Datei:P_ID2774__Inf_Z_3_7c.png\|right\|frame\|Wahrscheinlichkeitsfunktion der 2D-Zufallsgröße  $XZ$]]
			'''(3)'''  Interpretiert man  $I(X; Z)$  als die verbleibende Unsicherheit hinsichtlich des Tupels  $Z$,  wenn die erste Komponente  $X$  bekannt ist,  so gilt offensichtlich:
	:$$ I(X; Z) = H(Y)\hspace{0.15cm}\underline{ = 1.585 \ \rm bit}.$$		:$$ I(X; Z) = H(Y)\hspace{0.15cm}\underline{ = 1.585 \ \rm bit}.$$

Zeile 93:		Zeile 91:
	:$$H(X \hspace{-0.1cm}\mid \hspace{-0.1cm} Z) = H(XZ) - H(Z) = 3.170-3.170\hspace{0.15cm} \underline {=0\ {\rm (bit)}} \hspace{0.05cm}.$$		:$$H(X \hspace{-0.1cm}\mid \hspace{-0.1cm} Z) = H(XZ) - H(Z) = 3.170-3.170\hspace{0.15cm} \underline {=0\ {\rm (bit)}} \hspace{0.05cm}.$$

	* $H(Z\|X)$  gibt die Restunsicherheit hinsichtlich des Tupels  $Z$ an, wenn man die erste Komponente  $X$  kennt.		* $H(Z\|X)$  gibt die Restunsicherheit hinsichtlich des Tupels  $Z$  an,  wenn man die erste Komponente  $X$  kennt.
	*Die Unsicherheit hinsichtlich des Tupels  $Z$  ist $H(Z) = 2 · \log_2 (3) \ \rm bit$.		*Die Unsicherheit hinsichtlich des Tupels  $Z$  ist  $H(Z) = 2 · \log_2 (3) \ \rm bit$.
	* Bei Kenntnis der Komponente  $X$  halbiert sich die Unsicherheit auf  $H(Z\|X) = \log_2 (3)\ \rm bit$.		* Bei Kenntnis der Komponente  $X$  halbiert sich die Unsicherheit auf  $H(Z\|X) = \log_2 (3)\ \rm bit$.
	* $H(X\|Z)$  gibt die verbleibende Unsicherheit hinsichtlich der Komponente  $X$  an, wenn man das Tupel  $Z = (X, Y)$  kennt.		* $H(X\|Z)$  gibt die verbleibende Unsicherheit hinsichtlich der Komponente  $X$  an, wenn man das Tupel  $Z = (X, Y)$  kennt.  Diese Unsicherheit ist natürlich Null:   Kennt man  $Z$, so kennt man auch  $X$.
	*Diese Unsicherheit ist natürlich Null:   Kennt man  $Z$, so kennt man auch  $X$.

	{{ML-Fuß}}		{{ML-Fuß}}

Guenter am 20. September 2021 um 16:35 Uhr

2021-09-20T16:35:49Z

← Nächstältere Version		Version vom 20. September 2021, 18:35 Uhr
Zeile 4:		Zeile 4:
	}}		}}

	[[Datei:P_ID2771__Inf_Z_3_7.png\|right\|frame\|~~&bdquo;Wahrscheinlichkeiten” der Zufallsgröße~~  $XY$]]		[[Datei:P_ID2771__Inf_Z_3_7.png\|right\|frame\|PMF  $P_{ XY }(X, Y)$]]
	Wir betrachten das Tupel  $Z = (X, Y)$,  wobei die Einzelkomponenten  $X$  und  $Y$  jeweils ternäre Zufallsgrößen darstellen   ⇒   Symbolumfang  $\|X\| = \|Y\| = 3$.  Die gemeinsame Wahrscheinlichkeitsfunktion  $P_{ XY }(X, Y)$  ist rechts skizziert.		Wir betrachten das Tupel  $Z = (X, Y)$,  wobei die Einzelkomponenten  $X$  und  $Y$  jeweils ternäre Zufallsgrößen darstellen   ⇒   Symbolumfang  $\|X\| = \|Y\| = 3$.  Die gemeinsame Wahrscheinlichkeitsfunktion  $P_{ XY }(X, Y)$  ist rechts skizziert.

	In dieser Aufgabe sind zu berechnen:		In dieser Aufgabe sind zu berechnen:
	* die ''Verbundentropie''  $H(XY)$  und die ''Transinformation''  $I(X; Y)$,		* die Verbundentropie  $H(XY)$  und die Transinformation  $I(X; Y)$,
	* die ''Verbundentropie''  $H(XZ)$  und die ''Transinformation''  $I(X; Z)$,		* die Verbundentropie  $H(XZ)$  und die Transinformation  $I(X; Z)$,
	*die beiden ''bedingten Entropien''  $H(Z\|X)$  und  $H(X\|Z)$.		*die beiden bedingten Entropien  $H(Z\|X)$  und  $H(X\|Z)$.

Guenter am 31. Januar 2020 um 13:57 Uhr

2020-01-31T13:57:06Z

← Nächstältere Version		Version vom 31. Januar 2020, 15:57 Uhr
Zeile 54:		Zeile 54:
	===Musterlösung===		===Musterlösung===
	{{ML-Kopf}}		{{ML-Kopf}}
	'''(1)'''  Bei den Zufallsgrößen $X =\{0, 1, 2\}$   ⇒   $\|X\| = 3$ und $Y = \{0, 1, 2\}$   ⇒   $\|Y\| = 3$ liegt jeweils eine Gleichverteilung vor. Damit erhält man für die Entropien:		'''(1)'''  Bei den Zufallsgrößen  $X =\{0,\ 1,\ 2\}$   ⇒   $\|X\| = 3$  und  $Y = \{0,\ 1,\ 2\}$   ⇒   $\|Y\| = 3$  liegt jeweils eine Gleichverteilung vor.
			*Damit erhält man für die Entropien:

	:$$H(X) = {\rm log}_2 \hspace{0.1cm} (3)		:$$H(X) = {\rm log}_2 \hspace{0.1cm} (3)
Zeile 61:		Zeile 62:
	\hspace{0.15cm}\underline{= 1.585\,{\rm (bit)}}\hspace{0.05cm}.$$		\hspace{0.15cm}\underline{= 1.585\,{\rm (bit)}}\hspace{0.05cm}.$$

	Die 2D–Zufallsgröße $XY = \{00, 01, 02, 10, 11, 12, 20, 21, 22\}$   ⇒   $\|XY\| = \|Z\| = 9$ weist ebenfalls gleiche Wahrscheinlichkeiten auf:		*Die 2D–Zufallsgröße  $XY = \{00,\ 01,\ 02,\ 10,\ 11,\ 12,\ 20,\ 21,\ 22\}$   ⇒   $\|XY\| = \|Z\| = 9$  weist ebenfalls gleiche Wahrscheinlichkeiten auf:
	:$$p_{ 00 } = p_{ 01 } =\text{...} = p_{ 22 } = 1/9.$$		:$$p_{ 00 } = p_{ 01 } =\text{...} = p_{ 22 } = 1/9.$$
	Daraus folgt:		*Daraus folgt:
	:$$H(XY) = {\rm log}_2 \hspace{0.1cm} (9) \hspace{0.15cm}\underline{= 3.170\,{\rm (bit)}} \hspace{0.05cm}.$$		:$$H(XY) = {\rm log}_2 \hspace{0.1cm} (9) \hspace{0.15cm}\underline{= 3.170\,{\rm (bit)}} \hspace{0.05cm}.$$


	~~'''(2)'''  Die Zufallsgrößen$X$und $Y$ sind wegen $P_{ XY }(⋅) = P_X(⋅) · P_Y(⋅)$ statistisch unabhängig.~~
	*Daraus folgt $I(X, Y)\hspace{0.15cm}\underline{ = 0}$.
	*Zum gleichen Ergebnis kommt man über die Gleichung $I(X; Y) = H(X) + H(Y) – H(XY)$.

			'''(2)'''  Die Zufallsgrößen  $X$  und  $Y$  sind wegen  $P_{ XY }(⋅) = P_X(⋅) · P_Y(⋅)$  statistisch unabhängig.
			*Daraus folgt  $I(X, Y)\hspace{0.15cm}\underline{ = 0}$.
			*Zum gleichen Ergebnis kommt man über die Gleichung  $I(X; Y) = H(X) + H(Y) – H(XY)$.

	'''(3)'''  Interpretiert man $I(X; Z)$ als die verbleibende Unsicherheit hinsichtlich des Tupels $Z$, wenn die erste Komponente $X$ bekannt ist, so gilt offensichtlich


			'''(3)'''  Interpretiert man  $I(X; Z)$  als die verbleibende Unsicherheit hinsichtlich des Tupels  $Z$, wenn die erste Komponente  $X$  bekannt ist, so gilt offensichtlich
			[[Datei:P_ID2774__Inf_Z_3_7c.png\|right\|frame\|Wahrscheinlichkeitsfunktion der 2D-Zufallsgröße  $XZ$]]
	:$$ I(X; Z) = H(Y)\hspace{0.15cm}\underline{ = 1.585 \ \rm bit}.$$		:$$ I(X; Z) = H(Y)\hspace{0.15cm}\underline{ = 1.585 \ \rm bit}.$$

	~~[[Datei:P_ID2774__Inf_Z_3_7c.png\|right\|frame\|Wahrscheinlichkeitsfunktion der 2D-Zufallsgröße $XZ$]]~~
	Rein formal lässt sich diese Aufgabe auch wie folgt lösen:		Rein formal lässt sich diese Aufgabe auch wie folgt lösen:
	* Die Entropie $H(Z)$ ist gleich der Verbundentropie $H(XY) = 3.170 \ \rm bit$.		* Die Entropie  $H(Z)$  ist gleich der Verbundentropie  $H(XY) = 3.170 \ \rm bit$.
	* Die Verbundwahrscheinlichkeit $P_{ XZ }(X, Z)$ beinhaltet neun Elemente der Wahrscheinlichkeit $1/9$, alle anderen sind mit Nullen belegt   ⇒   $H(XZ) = \log_2 (9) = 3.170 \ \rm bit $.		* Die Verbundwahrscheinlichkeit  $P_{ XZ }(X, Z)$  beinhaltet neun Elemente der Wahrscheinlichkeit  $1/9$,  alle anderen sind mit Nullen belegt   ⇒   $H(XZ) = \log_2 (9) = 3.170 \ \rm bit $.
	* Damit gilt für die Transinformation (gemeinsame Information der Zufallsgrößen $X$  und  $Z$):		* Damit gilt für die Transinformation  $($gemeinsame Information der Zufallsgrößen  $X$  und  $Z)$:
	:$$I(X;Z) = H(X) + H(Z) - H(XZ) = 1.585 + 3.170- 3.170\hspace{0.15cm} \underline {= 1.585\,{\rm (bit)}} \hspace{0.05cm}.$$		:$$I(X;Z) = H(X) + H(Z) - H(XZ) = 1.585 + 3.170- 3.170\hspace{0.15cm} \underline {= 1.585\,{\rm (bit)}} \hspace{0.05cm}.$$


	[[Datei:P_ID2773__Inf_Z_3_7d.png\|right\|frame\|Entropien der 2D-Zufallsgröße $XZ$]]		[[Datei:P_ID2773__Inf_Z_3_7d.png\|right\|frame\|Entropien der 2D-Zufallsgröße  $XZ$]]

	'''(4)'''  Entsprechend der zweiten Grafik gilt:		'''(4)'''  Entsprechend der zweiten Grafik gilt:
	:$$H(Z \hspace{-0.1cm}\mid \hspace{-0.1cm} X) = H(XZ) - H(X) = 3.170-1.585\hspace{0.15cm} \underline {=1.585\,{\rm (bit)}} \hspace{0.05cm},$$		:$$H(Z \hspace{-0.1cm}\mid \hspace{-0.1cm} X) = H(XZ) - H(X) = 3.170-1.585\hspace{0.15cm} \underline {=1.585\ {\rm (bit)}} \hspace{0.05cm},$$
	:$$H(X \hspace{-0.1cm}\mid \hspace{-0.1cm} Z) = H(XZ) - H(Z) = 3.170-3.170\hspace{0.15cm} \underline {=0\,{\rm (bit)}} \hspace{0.05cm}.$$		:$$H(X \hspace{-0.1cm}\mid \hspace{-0.1cm} Z) = H(XZ) - H(Z) = 3.170-3.170\hspace{0.15cm} \underline {=0\ {\rm (bit)}} \hspace{0.05cm}.$$

	* $H(Z\|X)$ gibt die Restunsicherheit hinsichtlich des Tupels $Z$ an, wenn man die erste Komponente $X$ kennt.		* $H(Z\|X)$  gibt die Restunsicherheit hinsichtlich des Tupels  $Z$ an, wenn man die erste Komponente  $X$  kennt.
	*Die Unsicherheit hinsichtlich des Tupels $Z$ ist $H(Z) = 2 · \log_2 (3) \ \rm bit$~~, bei~~ Kenntnis der Komponente $X$ halbiert sich die Unsicherheit auf $H(Z\|X) = \log_2 (3)\ \rm bit$.		*Die Unsicherheit hinsichtlich des Tupels  $Z$  ist $H(Z) = 2 · \log_2 (3) \ \rm bit$.
	* $H(X\|Z)$ gibt die verbleibende Unsicherheit hinsichtlich der Komponente $X$ an, wenn man das Tupel $Z = (X, Y)$ kennt. Diese Unsicherheit ist natürlich Null:   Kennt man $Z$, so kennt man auch $X$.		* Bei Kenntnis der Komponente  $X$  halbiert sich die Unsicherheit auf  $H(Z\|X) = \log_2 (3)\ \rm bit$.
			* $H(X\|Z)$  gibt die verbleibende Unsicherheit hinsichtlich der Komponente  $X$  an, wenn man das Tupel  $Z = (X, Y)$  kennt.
			*Diese Unsicherheit ist natürlich Null:   Kennt man  $Z$, so kennt man auch  $X$.

	{{ML-Fuß}}		{{ML-Fuß}}

Guenter am 31. Januar 2020 um 13:45 Uhr

2020-01-31T13:45:17Z

← Nächstältere Version		Version vom 31. Januar 2020, 15:45 Uhr
Zeile 4:		Zeile 4:
	}}		}}

	[[Datei:P_ID2771__Inf_Z_3_7.png\|right\|frame\|&bdquo;Wahrscheinlichkeiten” der Zufallsgröße $XY$]]		[[Datei:P_ID2771__Inf_Z_3_7.png\|right\|frame\|&bdquo;Wahrscheinlichkeiten” der Zufallsgröße  $XY$]]
	Wir betrachten das Tupel $Z = (X, Y)$, wobei die Einzelkomponenten $X$ und $Y$ jeweils ternäre Zufallsgrößen darstellen   ⇒   Symbolumfang $\|X\| = \|Y\| = 3$. Die gemeinsame Wahrscheinlichkeitsfunktion $P_{ XY }(X, Y)$ ist rechts skizziert.		Wir betrachten das Tupel  $Z = (X, Y)$,  wobei die Einzelkomponenten  $X$  und  $Y$  jeweils ternäre Zufallsgrößen darstellen   ⇒   Symbolumfang  $\|X\| = \|Y\| = 3$.  Die gemeinsame Wahrscheinlichkeitsfunktion  $P_{ XY }(X, Y)$  ist rechts skizziert.

	In dieser Aufgabe sind zu berechnen:		In dieser Aufgabe sind zu berechnen:
	* die ''Verbundentropie'' $H(XY)$ und die ''Transinformation'' $I(X; Y)$,		* die ''Verbundentropie''  $H(XY)$  und die ''Transinformation''  $I(X; Y)$,
	* die ''Verbundentropie'' $H(XZ)$ und die ''Transinformation'' $I(X; Z)$,		* die ''Verbundentropie''  $H(XZ)$  und die ''Transinformation''  $I(X; Z)$,
	*die beiden ''bedingten Entropien'' $H(Z\|X)$ und $H(X\|Z)$.		*die beiden ''bedingten Entropien''  $H(Z\|X)$  und  $H(X\|Z)$.





Zeile 18:		Zeile 21:
	''Hinweise:''		''Hinweise:''
	*Die Aufgabe gehört zum Kapitel  [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen\|Verschiedene Entropien zweidimensionaler Zufallsgrößen]].		*Die Aufgabe gehört zum Kapitel  [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen\|Verschiedene Entropien zweidimensionaler Zufallsgrößen]].
	*Insbesondere wird Bezug genommen auf die Seiten  <br>     [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen#Bedingte_Wahrscheinlichkeit_und_bedingte_Entropie\|Bedingte Wahrscheinlichkeit und bedingte Entropie]] sowie <br>    [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen#Transinformation_zwischen_zwei_Zufallsgr.C3.B6.C3.9Fen\|Transinformation zwischen zwei Zufallsgrößen]].		*Insbesondere wird Bezug genommen auf die Seiten  <br>     [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen#Bedingte_Wahrscheinlichkeit_und_bedingte_Entropie\|Bedingte Wahrscheinlichkeit und bedingte Entropie]]   sowie <br>    [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen#Transinformation_zwischen_zwei_Zufallsgr.C3.B6.C3.9Fen\|Transinformation zwischen zwei Zufallsgrößen]].


Zeile 32:		Zeile 35:
	$ H(XY)\ = \ $ { 3.17 3% } $\ \rm bit$		$ H(XY)\ = \ $ { 3.17 3% } $\ \rm bit$

	{Welche Transinformation besteht zwischen den Zufallsgrößen $X$ und $Y$?		{Welche Transinformation besteht zwischen den Zufallsgrößen  $X$  und  $Y$?
	\|type="{}"}		\|type="{}"}
	$I(X; Y)\ = \ $ { 0. } $\ \rm bit$		$I(X; Y)\ = \ $ { 0. } $\ \rm bit$

	{Welche Transinformation besteht zwischen den Zufallsgrößen $X$ und $Z$?		{Welche Transinformation besteht zwischen den Zufallsgrößen  $X$  und  $Z$?
	\|type="{}"}		\|type="{}"}
	$I(X; Z)\ = \ $ { 1.585 3% } $\ \rm bit$		$I(X; Z)\ = \ $ { 1.585 3% } $\ \rm bit$

	{Welche bedingten Entropien bestehen zwischen $X$ und $Z$?		{Welche bedingten Entropien bestehen zwischen  $X$  und  $Z$?
	\|type="{}"}		\|type="{}"}
	$H(Z\|X)\ = \ $ { 1.585 3% } $\ \rm bit$		$H(Z\|X)\ = \ $ { 1.585 3% } $\ \rm bit$

Guenter am 9. Oktober 2018 um 16:11 Uhr

2018-10-09T16:11:29Z

← Nächstältere Version		Version vom 9. Oktober 2018, 18:11 Uhr
Zeile 32:		Zeile 32:
	$ H(XY)\ = \ $ { 3.17 3% } $\ \rm bit$		$ H(XY)\ = \ $ { 3.17 3% } $\ \rm bit$

	{Welche ~~Transinformationen~~ besteht zwischen den Zufallsgrößen $X$ und $Y$?		{Welche Transinformation besteht zwischen den Zufallsgrößen $X$ und $Y$?
	\|type="{}"}		\|type="{}"}
	$I(X; Y)\ = \ $ { 0. } $\ \rm bit$		$I(X; Y)\ = \ $ { 0. } $\ \rm bit$

	{Welche ~~Transinformationen~~ besteht zwischen den Zufallsgrößen $X$ und $Z$?		{Welche Transinformation besteht zwischen den Zufallsgrößen $X$ und $Z$?
	\|type="{}"}		\|type="{}"}
	$I(X; Z)\ = \ $ { 1.585 3% } $\ \rm bit$		$I(X; Z)\ = \ $ { 1.585 3% } $\ \rm bit$
Zeile 51:		Zeile 51:
	===Musterlösung===		===Musterlösung===
	{{ML-Kopf}}		{{ML-Kopf}}
	'''(1)'''  Bei den ~~beiden~~ Zufallsgrößen $X =\{0, 1, 2\}$   ⇒   $\|X\| = 3$ und $Y = \{0, 1, 2\}$   ⇒   $\|Y\| = 3$ liegt jeweils eine Gleichverteilung vor. Damit erhält man für die Entropien:		'''(1)'''  Bei den Zufallsgrößen $X =\{0, 1, 2\}$   ⇒   $\|X\| = 3$ und $Y = \{0, 1, 2\}$   ⇒   $\|Y\| = 3$ liegt jeweils eine Gleichverteilung vor. Damit erhält man für die Entropien:

	:$$H(X) = {\rm log}_2 \hspace{0.1cm} (3)		:$$H(X) = {\rm log}_2 \hspace{0.1cm} (3)
Zeile 58:		Zeile 58:
	\hspace{0.15cm}\underline{= 1.585\,{\rm (bit)}}\hspace{0.05cm}.$$		\hspace{0.15cm}\underline{= 1.585\,{\rm (bit)}}\hspace{0.05cm}.$$

	Die 2D–Zufallsgröße $XY = \{00, 01, 02, 10, 11, 12, 20, 21, 22\}$   ⇒   $\|XY\| = \|Z\| = 9$ weist ebenfalls gleiche Wahrscheinlichkeiten auf: $p_{ 00 } = p_{ 01 } =\text{...} = p_{ 22 } = 1/9$. Daraus folgt:		Die 2D–Zufallsgröße $XY = \{00, 01, 02, 10, 11, 12, 20, 21, 22\}$   ⇒   $\|XY\| = \|Z\| = 9$ weist ebenfalls gleiche Wahrscheinlichkeiten auf:
			:$$p_{ 00 } = p_{ 01 } =\text{...} = p_{ 22 } = 1/9.$$
			Daraus folgt:
	:$$H(XY) = {\rm log}_2 \hspace{0.1cm} (9) \hspace{0.15cm}\underline{= 3.170\,{\rm (bit)}} \hspace{0.05cm}.$$		:$$H(XY) = {\rm log}_2 \hspace{0.1cm} (9) \hspace{0.15cm}\underline{= 3.170\,{\rm (bit)}} \hspace{0.05cm}.$$

	'''(2)'''  Die Zufallsgrößen$X$und $Y$ sind wegen $P_{ XY }(⋅) = P_X(⋅) · P_Y(⋅)$ statistisch unabhängig   ⇒   $I(X, Y)\hspace{0.15cm}\underline{ = 0}$. Zum gleichen Ergebnis kommt man über die Gleichung $I(X; Y) = H(X) + H(Y) – H(XY)$.

			'''(2)'''  Die Zufallsgrößen$X$und $Y$ sind wegen $P_{ XY }(⋅) = P_X(⋅) · P_Y(⋅)$ statistisch unabhängig.
			*Daraus folgt $I(X, Y)\hspace{0.15cm}\underline{ = 0}$.
			*Zum gleichen Ergebnis kommt man über die Gleichung $I(X; Y) = H(X) + H(Y) – H(XY)$.

	'''(3)'''  Interpretiert man $I(X; Z)$ als die verbleibende Unsicherheit hinsichtlich des Tupels $Z$, wenn die erste Komponente $X$ bekannt ist, so gilt offensichtlich$ I(X; Z) = H(Y)\hspace{0.15cm}\underline{ = 1.585 \ \rm bit}$.

	[[Datei:P_ID2774__Inf_Z_3_7c.png\|right\|~~Wahrscheinlichkeitsfunion~~ der 2D-~~Zufallsgrößen (<i>X</i> und <i>Z</i>)~~]]		'''(3)'''  Interpretiert man $I(X; Z)$ als die verbleibende Unsicherheit hinsichtlich des Tupels $Z$, wenn die erste Komponente $X$ bekannt ist, so gilt offensichtlich
			:$$ I(X; Z) = H(Y)\hspace{0.15cm}\underline{ = 1.585 \ \rm bit}.$$

			[[Datei:P_ID2774__Inf_Z_3_7c.png\|right\|frame\|Wahrscheinlichkeitsfunktion der 2D-Zufallsgröße $XZ$]]
	Rein formal lässt sich diese Aufgabe auch wie folgt lösen:		Rein formal lässt sich diese Aufgabe auch wie folgt lösen:
	* Die Entropie $H(Z)$ ist gleich der Verbundentropie $H(XY) = 3.170 \ \rm bit$.		* Die Entropie $H(Z)$ ist gleich der Verbundentropie $H(XY) = 3.170 \ \rm bit$.
	* Die Verbundwahrscheinlichkeit $P_{ XZ }(X, Z)$ beinhaltet neun Elemente der Wahrscheinlichkeit $1/9$, alle anderen sind mit Nullen belegt   ⇒   $H(XZ) = ~~log2~~ (9) = 3.170 \ \rm bit $.		* Die Verbundwahrscheinlichkeit $P_{ XZ }(X, Z)$ beinhaltet neun Elemente der Wahrscheinlichkeit $1/9$, alle anderen sind mit Nullen belegt   ⇒   $H(XZ) = \log_2 (9) = 3.170 \ \rm bit $.
	* Damit gilt für die Transinformation (gemeinsame Information der ~~Zufalsgrößen~~ $X$ und $Z$):		* Damit gilt für die Transinformation (gemeinsame Information der Zufallsgrößen $X$  und  $Z$):
	:$$I(X;Z) = H(X) + H(Z) - H(XZ) = 1.585 + 3.170- 3.170\hspace{0.15cm} \underline {= 1.585\,{\rm (bit)}} \hspace{0.05cm}.$$		:$$I(X;Z) = H(X) + H(Z) - H(XZ) = 1.585 + 3.170- 3.170\hspace{0.15cm} \underline {= 1.585\,{\rm (bit)}} \hspace{0.05cm}.$$

	[[Datei:P_ID2773__Inf_Z_3_7d.png\|right\|Entropien der ~~Zufallsgrößen <i>X</i> und <i>Z</i>~~]]
			[[Datei:P_ID2773__Inf_Z_3_7d.png\|right\|frame\|Entropien der 2D-Zufallsgröße $XZ$]]

	'''(4)'''  Entsprechend der zweiten Grafik gilt:		'''(4)'''  Entsprechend der zweiten Grafik gilt:
Zeile 79:		Zeile 86:
	:$$H(X \hspace{-0.1cm}\mid \hspace{-0.1cm} Z) = H(XZ) - H(Z) = 3.170-3.170\hspace{0.15cm} \underline {=0\,{\rm (bit)}} \hspace{0.05cm}.$$		:$$H(X \hspace{-0.1cm}\mid \hspace{-0.1cm} Z) = H(XZ) - H(Z) = 3.170-3.170\hspace{0.15cm} \underline {=0\,{\rm (bit)}} \hspace{0.05cm}.$$

	* $H(Z\|X)$ gibt die Restunsicherheit hinsichtlich des Tupels $Z$ an, wenn man die erste Komponente $X$ kennt. Die Unsicherheit hinsichtlich des Tupels $Z$ ist $H(Z) = 2 · \log_2 (3) bit$, bei Kenntnis der Komponente $X$ halbiert sich die Unsicherheit auf $H(Z\|X) = \~~log2~~ (3) bit$.		* $H(Z\|X)$ gibt die Restunsicherheit hinsichtlich des Tupels $Z$ an, wenn man die erste Komponente $X$ kennt.
	* $H(X\|Z)$gibt die verbleibende Unsicherheit hinsichtlich der Komponente $X$ an, wenn man das Tupel $Z = (X, Y)$ kennt. Diese Unsicherheit ist natürlich Null: Kennt man $Z$, so kennt man auch $X$.		*Die Unsicherheit hinsichtlich des Tupels $Z$ ist $H(Z) = 2 · \log_2 (3) \ \rm bit$, bei Kenntnis der Komponente $X$ halbiert sich die Unsicherheit auf $H(Z\|X) = \log_2 (3)\ \rm bit$.
			* $H(X\|Z)$ gibt die verbleibende Unsicherheit hinsichtlich der Komponente $X$ an, wenn man das Tupel $Z = (X, Y)$ kennt. Diese Unsicherheit ist natürlich Null:   Kennt man $Z$, so kennt man auch $X$.

	{{ML-Fuß}}		{{ML-Fuß}}

Guenter am 9. Oktober 2018 um 15:57 Uhr

2018-10-09T15:57:02Z

← Nächstältere Version		Version vom 9. Oktober 2018, 17:57 Uhr
Zeile 4:		Zeile 4:
	}}		}}

	[[Datei:P_ID2771__Inf_Z_3_7.png\|right\|~~Wahrscheinlichkeitsfunktion der Zufallsgröße~~ &bdquo;XY”]]		[[Datei:P_ID2771__Inf_Z_3_7.png\|right\|frame\|&bdquo;Wahrscheinlichkeiten” der Zufallsgröße $XY$]]
	Wir betrachten das Tupel $Z = (X, Y)$, wobei die Einzelkomponenten $X$ und $Y$ jeweils ternäre Zufallsgrößen darstellen   ⇒   Symbolumfang $\|X\| = \|Y\| = 3$. Die gemeinsame Wahrscheinlichkeitsfunktion $P_{ XY }(X, Y)$ ist rechts skizziert.		Wir betrachten das Tupel $Z = (X, Y)$, wobei die Einzelkomponenten $X$ und $Y$ jeweils ternäre Zufallsgrößen darstellen   ⇒   Symbolumfang $\|X\| = \|Y\| = 3$. Die gemeinsame Wahrscheinlichkeitsfunktion $P_{ XY }(X, Y)$ ist rechts skizziert.

Zeile 11:		Zeile 11:
	* die ''Verbundentropie'' $H(XZ)$ und die ''Transinformation'' $I(X; Z)$,		* die ''Verbundentropie'' $H(XZ)$ und die ''Transinformation'' $I(X; Z)$,
	*die beiden ''bedingten Entropien'' $H(Z\|X)$ und $H(X\|Z)$.		*die beiden ''bedingten Entropien'' $H(Z\|X)$ und $H(X\|Z)$.





	''Hinweise:''		''Hinweise:''
	*Die Aufgabe gehört zum Kapitel [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen\|Verschiedene Entropien zweidimensionaler Zufallsgrößen]].		*Die Aufgabe gehört zum Kapitel  [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen\|Verschiedene Entropien zweidimensionaler Zufallsgrößen]].
	*Insbesondere wird Bezug genommen auf die Seiten [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen#Bedingte_Wahrscheinlichkeit_und_bedingte_Entropie\|Bedingte Wahrscheinlichkeit und bedingte Entropie]] sowie [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen#Transinformation_zwischen_zwei_Zufallsgr.C3.B6.C3.9Fen\|Transinformation zwischen zwei Zufallsgrößen]].		*Insbesondere wird Bezug genommen auf die Seiten  <br>     [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen#Bedingte_Wahrscheinlichkeit_und_bedingte_Entropie\|Bedingte Wahrscheinlichkeit und bedingte Entropie]] sowie <br>    [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen#Transinformation_zwischen_zwei_Zufallsgr.C3.B6.C3.9Fen\|Transinformation zwischen zwei Zufallsgrößen]].

Mwiki-lnt: Textersetzung - „\\sSollte die Eingabe des Zahlenwertes „0” erforderlich sein, so geben Sie bitte „0\.” ein.“ durch „ “

2018-05-29T12:03:47Z

Textersetzung - „\*\s*Sollte die Eingabe des Zahlenwertes „0” erforderlich sein, so geben Sie bitte „0\.” ein.“ durch „ “

← Nächstältere Version		Version vom 29. Mai 2018, 14:03 Uhr
Zeile 16:		Zeile 16:
	*Die Aufgabe gehört zum Kapitel [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen\|Verschiedene Entropien zweidimensionaler Zufallsgrößen]].		*Die Aufgabe gehört zum Kapitel [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen\|Verschiedene Entropien zweidimensionaler Zufallsgrößen]].
	*Insbesondere wird Bezug genommen auf die Seiten [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen#Bedingte_Wahrscheinlichkeit_und_bedingte_Entropie\|Bedingte Wahrscheinlichkeit und bedingte Entropie]] sowie [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen#Transinformation_zwischen_zwei_Zufallsgr.C3.B6.C3.9Fen\|Transinformation zwischen zwei Zufallsgrößen]].		*Insbesondere wird Bezug genommen auf die Seiten [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen#Bedingte_Wahrscheinlichkeit_und_bedingte_Entropie\|Bedingte Wahrscheinlichkeit und bedingte Entropie]] sowie [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen#Transinformation_zwischen_zwei_Zufallsgr.C3.B6.C3.9Fen\|Transinformation zwischen zwei Zufallsgrößen]].
	*Sollte die Eingabe des Zahlenwertes &bdquo;0” erforderlich sein, so geben Sie bitte &bdquo;0.” ein.