Aufgaben:Aufgabe 3.2: Erwartungswertberechnungen - Versionsgeschichte

Maintenance script: Add English interlanguage link

2026-03-16T12:36:17Z

Add English interlanguage link

← Nächstältere Version		Version vom 16. März 2026, 14:36 Uhr
Zeile 121:		Zeile 121:

	[[Category:Aufgaben zu Informationstheorie\|^3.1 Allgemeines zu 2D-Zufallsgrößen^]]		[[Category:Aufgaben zu Informationstheorie\|^3.1 Allgemeines zu 2D-Zufallsgrößen^]]
			[[en:Aufgaben:Exercise_3.2:_Expected_Value_Calculations]]

Maintenance script: Join multi-line formulas for MW 1.43 parser compat

2026-02-24T13:39:13Z

Join multi-line formulas for MW 1.43 parser compat

← Nächstältere Version		Version vom 24. Februar 2026, 15:39 Uhr
Zeile 16:		Zeile 16:

	Oft muss man für solche diskreten Zufallsgrößen verschiedene Erwartungswerte der Form		Oft muss man für solche diskreten Zufallsgrößen verschiedene Erwartungswerte der Form
	:$${\rm E} \big [ F(X)\big ] =\hspace{-0.3cm} \sum_{x \hspace{0.05cm}\in \hspace{0.05cm}\hspace{-0.03cm} {\rm supp} (P_X)} \hspace{-0.1cm}		:$${\rm E} \big [ F(X)\big ] =\hspace{-0.3cm} \sum_{x \hspace{0.05cm}\in \hspace{0.05cm}\hspace{-0.03cm} {\rm supp} (P_X)} \hspace{-0.1cm} P_{X}(x) \cdot F(x) $$
	P_{X}(x) \cdot F(x) $$

	berechnen. Hierbei bedeuten:		berechnen. Hierbei bedeuten:
Zeile 82:		Zeile 81:
	{{ML-Kopf}}		{{ML-Kopf}}
	'''(1)'''  Allgemein gilt für den Erwartungswert der Funktion  $F(X)$  hinsichtlich der Zufallsvariablen  $X$:		'''(1)'''  Allgemein gilt für den Erwartungswert der Funktion  $F(X)$  hinsichtlich der Zufallsvariablen  $X$:
	:$${\rm E} \left [ F(X)\right ] = \hspace{-0.4cm} \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} {\rm supp} (P_X)} \hspace{-0.2cm}		:$${\rm E} \left [ F(X)\right ] = \hspace{-0.4cm} \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} {\rm supp} (P_X)} \hspace{-0.2cm} P_{X}(x) \cdot F(x) \hspace{0.05cm}.$$
	P_{X}(x) \cdot F(x) \hspace{0.05cm}.$$
	Im vorliegenden Beispiel gilt dabei  $X = \{0,\ 1,\ 2,\ 3\}$  und  $P_X(X) = \big [1/2, \ 1/8, \ 0, \ 3/8\big ]$.		Im vorliegenden Beispiel gilt dabei  $X = \{0,\ 1,\ 2,\ 3\}$  und  $P_X(X) = \big [1/2, \ 1/8, \ 0, \ 3/8\big ]$.
	*Wegen  $P_X(X = 2) = 0$  ergibt sich somit für die zu berücksichtigende Menge  (dem &bdquo;Support”)  in obiger Summation:		*Wegen  $P_X(X = 2) = 0$  ergibt sich somit für die zu berücksichtigende Menge  (dem &bdquo;Support”)  in obiger Summation:
	:$${\rm supp} (P_X) = \{ 0\hspace{0.05cm}, 1\hspace{0.05cm}, 3 \} \hspace{0.05cm}.$$		:$${\rm supp} (P_X) = \{ 0\hspace{0.05cm}, 1\hspace{0.05cm}, 3 \} \hspace{0.05cm}.$$
	*Mit  $F(X) = 1/P_X(X)$  erhält man weiter:		*Mit  $F(X) = 1/P_X(X)$  erhält man weiter:
	:$${\rm E} \big [ 1/P_X(X)\big ] = \hspace{-0.4cm} \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 3 \}} \hspace{-0.4cm} P_{X}(x) \cdot {1}/{P_X(x)}		:$${\rm E} \big [ 1/P_X(X)\big ] = \hspace{-0.4cm} \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 3 \}} \hspace{-0.4cm} P_{X}(x) \cdot {1}/{P_X(x)} = \hspace{-0.4cm} \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 3 \}} \hspace{-0.3cm} 1 \hspace{0.15cm}\underline{ = 3} \hspace{0.05cm}.$$
	= \hspace{-0.4cm} \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 3 \}} \hspace{-0.3cm} 1
	\hspace{0.15cm}\underline{ = 3} \hspace{0.05cm}.$$
	*Der zweite Erwartungswert liefert mit  ${\rm supp} (P_Y) = \{ 0\hspace{0.05cm}, 1\hspace{0.05cm}, 2 \} $  das gleiche Ergebnis:		*Der zweite Erwartungswert liefert mit  ${\rm supp} (P_Y) = \{ 0\hspace{0.05cm}, 1\hspace{0.05cm}, 2 \} $  das gleiche Ergebnis:
	:$${\rm E} \left [ 1/P_Y(Y)\right ] \hspace{0.15cm}\underline{ = 3}.$$		:$${\rm E} \left [ 1/P_Y(Y)\right ] \hspace{0.15cm}\underline{ = 3}.$$
Zeile 97:		Zeile 93:

	'''(2)'''  In beiden Fällen ist der Index der Wahrscheinlichkeitsfunktion mit der Zufallsvariablen  $(X$  bzw.  $Y)$  identisch und man erhält		'''(2)'''  In beiden Fällen ist der Index der Wahrscheinlichkeitsfunktion mit der Zufallsvariablen  $(X$  bzw.  $Y)$  identisch und man erhält
	:$${\rm E} \big [ P_X(X)\big ] = \hspace{-0.3cm} \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 3 \}} \hspace{-0.3cm} P_{X}(x) \cdot {P_X(x)}		:$${\rm E} \big [ P_X(X)\big ] = \hspace{-0.3cm} \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 3 \}} \hspace{-0.3cm} P_{X}(x) \cdot {P_X(x)} = (1/2)^2 + (1/8)^2 + (3/8)^2 = 13/32\hspace{0.15cm}\underline{ \approx 0.406} \hspace{0.05cm},$$
	= (1/2)^2 + (1/8)^2 + (3/8)^2 = 13/32		:$${\rm E} \big [ P_Y(Y)\big ] = \hspace{-0.3cm} \sum_{y \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 2 \}} \hspace{-0.3cm} P_Y(y) \cdot P_Y(y) = (1/2)^2 + (1/4)^2 + (1/4)^2 \hspace{0.15cm}\underline{ = 0.375} \hspace{0.05cm}.$$
	\hspace{0.15cm}\underline{ \approx 0.406} \hspace{0.05cm},$$
	:$${\rm E} \big [ P_Y(Y)\big ] = \hspace{-0.3cm} \sum_{y \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 2 \}} \hspace{-0.3cm} P_Y(y) \cdot P_Y(y) = (1/2)^2 + (1/4)^2 + (1/4)^2
	\hspace{0.15cm}\underline{ = 0.375} \hspace{0.05cm}.$$



	'''(3)'''  Hier gelten folgende Gleichungen:		'''(3)'''  Hier gelten folgende Gleichungen:
	:$${\rm E} \big [ P_Y(X)\big ] = \hspace{-0.3cm} \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 3 \}} \hspace{-0.3cm} P_{X}(x) \cdot {P_Y(x)} = \frac{1}{2} \cdot \frac{1}{2} + \frac{1}{8} \cdot \frac{1}{4} + \frac{3}{8} \cdot 0 = 9/32		:$${\rm E} \big [ P_Y(X)\big ] = \hspace{-0.3cm} \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 3 \}} \hspace{-0.3cm} P_{X}(x) \cdot {P_Y(x)} = \frac{1}{2} \cdot \frac{1}{2} + \frac{1}{8} \cdot \frac{1}{4} + \frac{3}{8} \cdot 0 = 9/32\hspace{0.15cm}\underline{ \approx 0.281} \hspace{0.05cm},$$
	\hspace{0.15cm}\underline{ \approx 0.281} \hspace{0.05cm},$$
	*Die Erwartungswertbildung bezieht sich hier auf  $P_X(·)$, also auf die Zufallsgröße  $X$.		*Die Erwartungswertbildung bezieht sich hier auf  $P_X(·)$, also auf die Zufallsgröße  $X$.
	*$P_Y(·)$  ist dabei die formale Funktion ohne (direkten) Bezug zur Zufallsgröße  $Y$.		*$P_Y(·)$  ist dabei die formale Funktion ohne (direkten) Bezug zur Zufallsgröße  $Y$.
Zeile 117:		Zeile 109:

	'''(4)'''  Wir berechnen zunächst die drei Erwartungswerte:		'''(4)'''  Wir berechnen zunächst die drei Erwartungswerte:
	:$${\rm E} \big [-{\rm log}_2 \hspace{0.1cm} P_U(U)\big ]		:$${\rm E} \big [-{\rm log}_2 \hspace{0.1cm} P_U(U)\big ] = \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} \frac{2}{1} + \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} \frac{2}{1} \hspace{0.15cm}\underline{ = 1\ {\rm bit}} \hspace{0.05cm},$$
	= \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} \frac{2}{1} + \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} \frac{2}{1} \hspace{0.15cm}\underline{ = 1\ {\rm bit}} \hspace{0.05cm},$$		:$${\rm E} \big [-{\rm log}_2 \hspace{0.1cm} P_V(V)\big ] = \frac{3}{4} \cdot {\rm log}_2 \hspace{0.1cm} \frac{4}{3} + \frac{1}{4} \cdot {\rm log}_2 \hspace{0.1cm} \frac{4}{1} \hspace{0.15cm}\underline{ = 0.811\ {\rm bit}} \hspace{0.05cm},$$
	:$${\rm E} \big [-{\rm log}_2 \hspace{0.1cm} P_V(V)\big ]		:$${\rm E} \big [-{\rm log}_2 \hspace{0.1cm} P_V(U)\big ] = \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} \frac{4}{3} + \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} \frac{4}{1} \hspace{0.15cm}\underline{ = 1.208\ {\rm bit}} \hspace{0.05cm}.$$
	= \frac{3}{4} \cdot {\rm log}_2 \hspace{0.1cm} \frac{4}{3} + \frac{1}{4} \cdot {\rm log}_2 \hspace{0.1cm} \frac{4}{1} \hspace{0.15cm}\underline{ = 0.811\ {\rm bit}} \hspace{0.05cm},$$
	:$${\rm E} \big [-{\rm log}_2 \hspace{0.1cm} P_V(U)\big ]
	= \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} \frac{4}{3} + \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} \frac{4}{1} \hspace{0.15cm}\underline{ = 1.208\ {\rm bit}} \hspace{0.05cm}.$$
	Richtig sind demnach die <u>beiden ersten Aussagen</u>:		Richtig sind demnach die <u>beiden ersten Aussagen</u>:
	* Die Entropie  $H(U) = 1$  bit  kann entsprechend der ersten Gleichung berechnet werden.  Sie gilt für die binäre Zufallsgröße  $U$  mit gleichen Wahrscheinlichkeiten.		* Die Entropie  $H(U) = 1$  bit  kann entsprechend der ersten Gleichung berechnet werden.  Sie gilt für die binäre Zufallsgröße  $U$  mit gleichen Wahrscheinlichkeiten.

Guenter am 17. August 2021 um 09:04 Uhr

2021-08-17T09:04:25Z

← Nächstältere Version		Version vom 17. August 2021, 11:04 Uhr
Zeile 21:		Zeile 21:
	berechnen. Hierbei bedeuten:		berechnen. Hierbei bedeuten:

	* $P_X(X)$  bezeichnet die ~~<i>~~Wahrscheinlichkeitsfunktion~~</i>~~ der diskreten Zufallsgröße  $X$.		* $P_X(X)$  bezeichnet die Wahrscheinlichkeitsfunktion der diskreten Zufallsgröße  $X$.
	* Der  ~~<i>~~Support~~</i>~~  von  $P_X$  umfasst alle diejenigen Realisierungen  $x$  der Zufallsgröße  $X$  mit nicht verschwindender Wahrscheinlichkeit.		* Der  "Support"  von  $P_X$  umfasst alle diejenigen Realisierungen  $x$  der Zufallsgröße  $X$  mit nicht verschwindender Wahrscheinlichkeit.
	*Formal kann hierfür geschrieben werden:		*Formal kann hierfür geschrieben werden:
	:$${\rm supp} (P_X) = \{ x: \hspace{0.25cm}x \in X \hspace{0.15cm}\underline{\rm und} \hspace{0.15cm} P_X(x) \ne 0 \} \hspace{0.05cm}.$$		:$${\rm supp} (P_X) = \{ x: \hspace{0.25cm}x \in X \hspace{0.15cm}\underline{\rm und} \hspace{0.15cm} P_X(x) \ne 0 \} \hspace{0.05cm}.$$
Zeile 41:		Zeile 41:


	''Hinweise:''		<u>Hinweise:</u>
	*Die Aufgabe gehört zum Kapitel  [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen\|Einige Vorbemerkungen zu den 2D-Zufallsgrößen]].		*Die Aufgabe gehört zum Kapitel  [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen\|Einige Vorbemerkungen zu den 2D-Zufallsgrößen]].
	* Die beiden 1D–Wahrscheinlichkeitsfunktionen  $P_X(X)$  und  $P_Y(Y)$  ergeben sich aus der dargestellten 2D–PMF  $P_{XY}(X,\ Y)$, wie in  [[Aufgaben:3.2Z_2D–Wahrscheinlichkeitsfunktion\|Aufgabe 3.2Z]]  gezeigt werden soll.		* Die beiden 1D–Wahrscheinlichkeitsfunktionen  $P_X(X)$  und  $P_Y(Y)$  ergeben sich aus der dargestellten 2D–PMF  $P_{XY}(X,\ Y)$, wie in  [[Aufgaben:3.2Z_2D–Wahrscheinlichkeitsfunktion\|Aufgabe 3.2Z]]  gezeigt werden soll.

Guenter am 30. Januar 2020 um 13:24 Uhr

2020-01-30T13:24:42Z

Guenter am 30. Januar 2020 um 13:14 Uhr

2020-01-30T13:14:06Z

← Nächstältere Version		Version vom 30. Januar 2020, 15:14 Uhr
Zeile 6:		Zeile 6:
	Wir betrachten folgende Wahrscheinlichkeitsfunktionen:		Wir betrachten folgende Wahrscheinlichkeitsfunktionen:

	:$$P_X(X) = \big[1/2, 1/8, 0, 3/8 \big],$$		:$$P_X(X) = \big[1/2,\ 1/8,\ 0,\ 3/8 \big],$$
	:$$P_Y(Y) = \big[1/2, 1/4, 1/4, 0 \big],$$		:$$P_Y(Y) = \big[1/2,\ 1/4,\ 1/4,\ 0 \big],$$
	:$$P_U(U) = \big[1/2, 1/2 \big],$$		:$$P_U(U) = \big[1/2,\ 1/2 \big],$$
	:$$P_V(V) = \big[3/4, 1/4\big].$$		:$$P_V(V) = \big[3/4,\ 1/4\big].$$

	Für die dazugehörigen Zufallsgrößen gelte:		Für die dazugehörigen Zufallsgrößen gelte:

	: $X= \{0, 1, 2, 3\}$,     $Y= \{0, 1, 2, 3\}$,		: $X= \{0,\ 1,\ 2,\ 3\}$,     $Y= \{0,\ 1,\ 2,\ 3\}$,    $U = \{0,\ 1\}$,     $V = \{0, 1\}$.
	: $U = \{0, 1\}$,     $V = \{0, 1\}$.

	Oft muss man für solche diskreten Zufallsgrößen verschiedene Erwartungswerte der Form		Oft muss man für solche diskreten Zufallsgrößen verschiedene Erwartungswerte der Form
Zeile 22:		Zeile 21:
	berechnen. Hierbei bedeuten:		berechnen. Hierbei bedeuten:

	* $P_X(X)$ bezeichnet die <i>Wahrscheinlichkeitsfunktion</i> der diskreten Zufallsgröße $X$.		* $P_X(X)$  bezeichnet die <i>Wahrscheinlichkeitsfunktion</i> der diskreten Zufallsgröße  $X$.
	* Der <i>Support</i> von $P_X$ umfasst alle diejenigen Realisierungen $x$ der Zufallsgröße $X$ mit nicht verschwindender Wahrscheinlichkeit. ~~<br>~~Formal kann hierfür geschrieben werden:		* Der  <i>Support</i>  von  $P_X$  umfasst alle diejenigen Realisierungen  $x$  der Zufallsgröße  $X$  mit nicht verschwindender Wahrscheinlichkeit.
			*Formal kann hierfür geschrieben werden:
	:$${\rm supp} (P_X) = \{ x: \hspace{0.25cm}x \in X \hspace{0.15cm}\underline{\rm und} \hspace{0.15cm} P_X(x) \ne 0 \} \hspace{0.05cm}.$$		:$${\rm supp} (P_X) = \{ x: \hspace{0.25cm}x \in X \hspace{0.15cm}\underline{\rm und} \hspace{0.15cm} P_X(x) \ne 0 \} \hspace{0.05cm}.$$
	* $F(X)$ ist eine (beliebige) reellwertige Funktion, die im gesamten Definitionsgebiet der Zufallsgröße $X$ angebbar ist.		* $F(X)$  ist eine (beliebige) reellwertige Funktion, die im gesamten Definitionsgebiet der Zufallsgröße  $X$  angebbar ist.


	In der Aufgabe sollen die Erwartungswerte für verschiedene Funktionen $F(X)$ berechnet werden, unter anderem für		In der Aufgabe sollen die Erwartungswerte für verschiedene Funktionen  $F(X)$  berechnet werden, unter anderem für

	: $F(X)= 1/P_X(X)$,		: $F(X)= 1/P_X(X)$,
	: $F(X)= P_X(X)$,		: $F(X)= P_X(X)$,
	: $F(X)= - \log_2 \ P_X(X)$.		: $F(X)= - \log_2 \ P_X(X)$.




Zeile 40:		Zeile 42:

	''Hinweise:''		''Hinweise:''
	*Die Aufgabe gehört zum Kapitel [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen\|Einige Vorbemerkungen zu den 2D-Zufallsgrößen]].		*Die Aufgabe gehört zum Kapitel  [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen\|Einige Vorbemerkungen zu den 2D-Zufallsgrößen]].
	* Die beiden &~~bdquo~~;~~eindimensionalen~~&~~rdquo~~; ~~Wahrscheinlichkeitsfunktionen~~ $P_X(X)$ und $P_Y(Y)$ ergeben sich aus der dargestellten 2D–PMF $P_{XY}(X, Y)$, ~~<br>~~wie in [[Aufgaben:3.2Z_2D–Wahrscheinlichkeitsfunktion\|~~Zusatzaufgabe~~ 3.2Z]] gezeigt werden soll.		* Die beiden 1D–Wahrscheinlichkeitsfunktionen  $P_X(X)$  und  $P_Y(Y)$  ergeben sich aus der dargestellten 2D–PMF  $P_{XY}(X,\ Y)$, wie in  [[Aufgaben:3.2Z_2D–Wahrscheinlichkeitsfunktion\|Aufgabe 3.2Z]]  gezeigt werden soll.
	* Zu den binären Wahrscheinlichkeitsfunktionen $P_U(U)$ und $P_V(V)$ kommt man entsprechend den Modulo–Operationen $U = X \hspace{0.1cm}\text{mod} \hspace{0.1cm}2$ sowie $V = Y \hspace{0.1cm}\text{mod} \hspace{0.1cm} 2$.		* Zu den binären Wahrscheinlichkeitsfunktionen  $P_U(U)$  und  $P_V(V)$  kommt man entsprechend den Modulo–Operationen  $U = X \hspace{0.1cm}\text{mod} \hspace{0.1cm}2$  sowie  $V = Y \hspace{0.1cm}\text{mod} \hspace{0.1cm} 2$.


Zeile 69:		Zeile 71:
	{Welche der folgenden Aussagen sind zutreffend?		{Welche der folgenden Aussagen sind zutreffend?
	\|type="[]"}		\|type="[]"}
	+ ${\rm E}\big[- \log_2 \ P_U(U)\big]$ ergibt die Entropie der Zufallsgröße $U$.		+ ${\rm E}\big[- \log_2 \ P_U(U)\big]$  ergibt die Entropie der Zufallsgröße  $U$.
	+ ${\rm E}\big[- \log_2 \ P_V(V)\big]$ ergibt die Entropie der Zufallsgröße $V$.		+ ${\rm E}\big[- \log_2 \ P_V(V)\big]$  ergibt die Entropie der Zufallsgröße  $V$.
	- ${\rm E}\big[- \log_2 \ P_V(U)\big]$ ergibt die Entropie der Zufallsgröße $V$.		- ${\rm E}\big[- \log_2 \ P_V(U)\big]$  ergibt die Entropie der Zufallsgröße  $V$.

Guenter am 8. Oktober 2018 um 12:59 Uhr

2018-10-08T12:59:47Z

← Nächstältere Version		Version vom 8. Oktober 2018, 14:59 Uhr
Zeile 79:		Zeile 79:
	===Musterlösung===		===Musterlösung===
	{{ML-Kopf}}		{{ML-Kopf}}
	'''(1)'''  Allgemein gilt für den Erwartungswert der Funktion ~~<i>~~F~~</i>~~(~~<i>~~X~~</i>~~) hinsichtlich der Zufallsvariablen ~~<i>~~X~~</i>~~:		'''(1)'''  Allgemein gilt für den Erwartungswert der Funktion $F(X)$ hinsichtlich der Zufallsvariablen $X$:
	:$${\rm E} \left [ F(X)\right ] = \hspace{-0.4cm} \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} {\rm supp} (P_X)} \hspace{-0.2cm}		:$${\rm E} \left [ F(X)\right ] = \hspace{-0.4cm} \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} {\rm supp} (P_X)} \hspace{-0.2cm}
	P_{X}(x) \cdot F(x) \hspace{0.05cm}.$$		P_{X}(x) \cdot F(x) \hspace{0.05cm}.$$
	Im vorliegenden Beispiel gilt ~~<i>~~X~~</i>~~ = {0, 1, 2, 3} und ~~<i>P<sub>X</sub></i>~~(~~<i>~~X~~</i>~~) = [1/2, 1/8, 0, 3/8]. Wegen ~~<i>P<sub>X</sub></i>~~(~~<i>~~X~~</i>~~ = 2) = 0 ergibt sich somit für die zu berücksichtigende Menge (&bdquo;Support”) in obiger Summation:		Im vorliegenden Beispiel gilt $X = \{0, 1, 2, 3\}$ und $P_X(X) = \big [1/2, \ 1/8, \ 0, \ 3/8\big ]$.
			*Wegen $P_X(X = 2) = 0$ ergibt sich somit für die zu berücksichtigende Menge (&bdquo;Support”) in obiger Summation:
	:$${\rm supp} (P_X) = \{ 0\hspace{0.05cm}, 1\hspace{0.05cm}, 3 \} \hspace{0.05cm}.$$		:$${\rm supp} (P_X) = \{ 0\hspace{0.05cm}, 1\hspace{0.05cm}, 3 \} \hspace{0.05cm}.$$
	Mit ~~<i>~~F~~</i>~~(~~<i>~~X~~</i>~~) = 1/~~<i>P<sub>X</sub></i>~~(~~<i>~~X~~</i>~~) erhält man weiter:		*Mit $F(X) = 1/P_X(X)$ erhält man weiter:
	:$${\rm E} \~~left~~ [ 1/P_X(X)\~~right~~ ] = \hspace{-0.4cm} \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 3 \}} \hspace{-0.4cm} P_{X}(x) \cdot {1}/{P_X(x)}		:$${\rm E} \big [ 1/P_X(X)\big ] = \hspace{-0.4cm} \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 3 \}} \hspace{-0.4cm} P_{X}(x) \cdot {1}/{P_X(x)}
	= \hspace{-0.4cm} \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 3 \}} \hspace{-0.3cm} 1		= \hspace{-0.4cm} \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 3 \}} \hspace{-0.3cm} 1
	\hspace{0.15cm}\underline{ = 3} \hspace{0.05cm}.$$		\hspace{0.15cm}\underline{ = 3} \hspace{0.05cm}.$$
	Der zweite Erwartungswert liefert mit supp(~~<i>P<sub>Y</sub></i>~~) = {0, 1, 2} das gleiche Ergebnis: E[1/~~<i>P<sub>Y</sub></i>~~(~~<i>~~Y~~</i>~~)] ~~<u>~~= 3~~</u>~~.		*Der zweite Erwartungswert liefert mit ${\rm supp} (P_Y) = \{ 0\hspace{0.05cm}, 1\hspace{0.05cm}, 2 \} $ das gleiche Ergebnis:
			:$${\rm E} \left [ 1/P_Y(Y)\right ] \hspace{0.15cm}\underline{ = 3}.$$


	'''(2)'''  In beiden Fällen ist der Index der Wahrscheinlichkeitsfunktion mit der Zufallsvariablen (~~<i>~~X~~</i>~~ bzw. ~~<i>~~Y~~</i>~~) identisch und man erhält		'''(2)'''  In beiden Fällen ist der Index der Wahrscheinlichkeitsfunktion mit der Zufallsvariablen ($X$ bzw. $Y$) identisch und man erhält
	:$${\rm E} \~~left~~ [ P_X(X)\~~right~~ ] = \hspace{-0.3cm} \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 3 \}} \hspace{-0.3cm} P_{X}(x) \cdot {P_X(x)}		:$${\rm E} \big [ P_X(X)\big ] = \hspace{-0.3cm} \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 3 \}} \hspace{-0.3cm} P_{X}(x) \cdot {P_X(x)}
	= (1/2)^2 + (1/8)^2 + (3/8)^2 = 13/32		= (1/2)^2 + (1/8)^2 + (3/8)^2 = 13/32
	\hspace{0.15cm}\underline{ \approx 0.406} \hspace{0.05cm},$$		\hspace{0.15cm}\underline{ \approx 0.406} \hspace{0.05cm},$$
	:$${\rm E} \~~left~~ [ P_Y(Y)\~~right~~ ] = \hspace{-0.3cm} \sum_{y \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 2 \}} \hspace{-0.3cm} P_Y(y) \cdot P_Y(y) = (1/2)^2 + (1/4)^2 + (1/4)^2		:$${\rm E} \big [ P_Y(Y)\big ] = \hspace{-0.3cm} \sum_{y \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 2 \}} \hspace{-0.3cm} P_Y(y) \cdot P_Y(y) = (1/2)^2 + (1/4)^2 + (1/4)^2
	\hspace{0.15cm}\underline{ = 0.375} \hspace{0.05cm}.$$		\hspace{0.15cm}\underline{ = 0.375} \hspace{0.05cm}.$$


	'''(3)'''  Hier gelten folgende Gleichungen:		'''(3)'''  Hier gelten folgende Gleichungen:
	:$${\rm E} \~~left~~ [ P_Y(X)\~~right~~ ] = \hspace{-0.3cm} \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 3 \}} \hspace{-0.3cm} P_{X}(x) \cdot {P_Y(x)} = \frac{1}{2} \cdot \frac{1}{2} + \frac{1}{8} \cdot \frac{1}{4} + \frac{3}{8} \cdot 0 = 9/32		:$${\rm E} \big [ P_Y(X)\big ] = \hspace{-0.3cm} \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 3 \}} \hspace{-0.3cm} P_{X}(x) \cdot {P_Y(x)} = \frac{1}{2} \cdot \frac{1}{2} + \frac{1}{8} \cdot \frac{1}{4} + \frac{3}{8} \cdot 0 = 9/32
	\hspace{0.15cm}\underline{ \approx 0.281} \hspace{0.05cm},$$		\hspace{0.15cm}\underline{ \approx 0.281} \hspace{0.05cm},$$
	Die Erwartungswertbildung bezieht sich hier auf ~~<i>P<sub>X</sub></i>~~(·), also auf die Zufallsgröße ~~<i>~~X~~</i>~~. ~~<i>P<sub>Y</sub></i>~~(·) ist dabei die formale Funktion ohne (direkten) Bezug zur Zufallsgröße ~~<i>~~Y</i>.		*Die Erwartungswertbildung bezieht sich hier auf $P_X(·)$, also auf die Zufallsgröße $X$.
			*$P_Y(·)$ ist dabei die formale Funktion ohne (direkten) Bezug zur Zufallsgröße $Y$.

			*Für den zweiten Erwartungswert erhält man im vorliegenden den gleichen Zahlenwert (das muss nicht so sein):
			:$${\rm E} \big [ P_X(Y)\big ] = \hspace{-0.3cm} \sum_{y \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 2 \}} \hspace{-0.3cm} P_{Y}(y) \cdot {P_X(y)} = \frac{1}{2} \cdot \frac{1}{2} + \frac{1}{4} \cdot \frac{1}{8} + \frac{1}{4} \cdot 0 = 9/32 \hspace{0.15cm}\underline{ \approx 0.281} \hspace{0.05cm}.$$

	~~Für den zweiten Erwartungswert erhält man im vorliegenden den gleichen Zahlenwert (das muss nicht so sein):~~
	:$${\rm E} \left [ P_X(Y)\right ] = \hspace{-0.3cm} \sum_{y \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 2 \}} \hspace{-0.3cm} P_{Y}(y) \cdot {P_X(y)} = \frac{1}{2} \cdot \frac{1}{2} + \frac{1}{4} \cdot \frac{1}{8} + \frac{1}{4} \cdot 0 = 9/32 \hspace{0.15cm}\underline{ \approx 0.281} \hspace{0.05cm}.$$

	'''(4)'''  Wir berechnen zunächst die drei Erwartungswerte:		'''(4)'''  Wir berechnen zunächst die drei Erwartungswerte:
	:$${\rm E} \~~left~~ [-{\rm log}_2 \hspace{0.1cm} P_U(U)\~~right~~ ]		:$${\rm E} \big [-{\rm log}_2 \hspace{0.1cm} P_U(U)\big ]
	= \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} \frac{2}{1} + \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} \frac{2}{1} \hspace{0.15cm}\underline{ = 1\,{\rm bit}} \hspace{0.05cm},$$		= \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} \frac{2}{1} + \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} \frac{2}{1} \hspace{0.15cm}\underline{ = 1\,{\rm bit}} \hspace{0.05cm},$$
	:$${\rm E} \~~left~~ [-{\rm log}_2 \hspace{0.1cm} P_V(V)\~~right~~ ]		:$${\rm E} \big [-{\rm log}_2 \hspace{0.1cm} P_V(V)\big ]
	= \frac{3}{4} \cdot {\rm log}_2 \hspace{0.1cm} \frac{4}{3} + \frac{1}{4} \cdot {\rm log}_2 \hspace{0.1cm} \frac{4}{1} \hspace{0.15cm}\underline{ = 0.811\,{\rm bit}} \hspace{0.05cm},$$		= \frac{3}{4} \cdot {\rm log}_2 \hspace{0.1cm} \frac{4}{3} + \frac{1}{4} \cdot {\rm log}_2 \hspace{0.1cm} \frac{4}{1} \hspace{0.15cm}\underline{ = 0.811\,{\rm bit}} \hspace{0.05cm},$$
	:$${\rm E} \~~left~~ [-{\rm log}_2 \hspace{0.1cm} P_V(U)\~~right~~ ]		:$${\rm E} \big [-{\rm log}_2 \hspace{0.1cm} P_V(U)\big ]
	= \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} \frac{4}{3} + \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} \frac{4}{1} \hspace{0.15cm}\underline{ = 1.208\,{\rm bit}} \hspace{0.05cm}.$$		= \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} \frac{4}{3} + \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} \frac{4}{1} \hspace{0.15cm}\underline{ = 1.208\,{\rm bit}} \hspace{0.05cm}.$$
	Richtig sind demnach die <u>beiden ersten Aussagen</u>:		Richtig sind demnach die <u>beiden ersten Aussagen</u>:
	* Die Entropie ~~<i>~~H~~</i>~~(~~<i>~~U~~</i>~~) = 1 bit kann entsprechend der ersten Gleichung berechnet werden. Sie gilt für die binäre Zufallsgröße ~~<i>~~U~~</i>~~ mit gleichen Wahrscheinlichkeiten.		* Die Entropie $H(U) = 1$ bit kann entsprechend der ersten Gleichung berechnet werden. Sie gilt für die binäre Zufallsgröße $U$ mit gleichen Wahrscheinlichkeiten.
	* Die Entropie ~~<i>~~H~~</i>~~(~~<i>~~V~~</i>~~) = 0.811 bit berechnet sich entsprechend der zweiten Gleichung. Aufgrund der Wahrscheinlichkeiten 3/4 und 1/4 ist die Entropie (Unsicherheit) kleiner als für die Zufallsgröße ~~<i>~~U~~</i>~~.		* Die Entropie $H(V) = 0.811$ bit berechnet sich entsprechend der zweiten Gleichung. Aufgrund der Wahrscheinlichkeiten $3/4$ und $1/4$ ist die Entropie (Unsicherheit) hier kleiner als für die Zufallsgröße $U$.
	* Der dritte Erwartungswert kann schon allein vom Ergebnis her (1.208 bit) nicht die Entropie einer binären Zufallsgröße angeben, die stets auf 1 bit begrenzt ist.		* Der dritte Erwartungswert kann schon allein vom Ergebnis her $(1.208$ bit$)$ nicht die Entropie einer binären Zufallsgröße angeben, die stets auf $1$ bit begrenzt ist.
	{{ML-Fuß}}		{{ML-Fuß}}

Guenter am 8. Oktober 2018 um 12:30 Uhr

2018-10-08T12:30:39Z

← Nächstältere Version		Version vom 8. Oktober 2018, 14:30 Uhr
Zeile 3:		Zeile 3:
	}}		}}

	[[Datei:P_ID2751__Inf_A_3_2.png\|right\|2D–Wahrscheinlichkeitsfunktion]]		[[Datei:P_ID2751__Inf_A_3_2.png\|right\|frame\|2D–Wahrscheinlichkeitsfunktion]]
	Wir betrachten folgende Wahrscheinlichkeitsfunktionen:		Wir betrachten folgende Wahrscheinlichkeitsfunktionen:

	: $P_X(X) = [1/2, 1/8, 0, 3/8]$,		:$$P_X(X) = \big[1/2, 1/8, 0, 3/8 \big],$$
	: $P_Y(Y) = [1/2, 1/4, 1/4, 0]$,		:$$P_Y(Y) = \big[1/2, 1/4, 1/4, 0 \big],$$
	: $P_U(U) = [1/2, 1/2]$,		:$$P_U(U) = \big[1/2, 1/2 \big],$$
	: $P_V(V) = [3/4, 1/4]$.		:$$P_V(V) = \big[3/4, 1/4\big].$$

	Für die dazugehörigen Zufallsgrößen gelte:		Für die dazugehörigen Zufallsgrößen gelte:

	: $X= \{0, 1, 2, 3\}$, $Y= \{0, 1, 2, 3\}$,		: $X= \{0, 1, 2, 3\}$,     $Y= \{0, 1, 2, 3\}$,
	: $U = \{0, 1\}$, $V = \{0, 1\}$.		: $U = \{0, 1\}$,     $V = \{0, 1\}$.

	Oft muss man für solche diskreten Zufallsgrößen verschiedene Erwartungswerte der Form		Oft muss man für solche diskreten Zufallsgrößen verschiedene Erwartungswerte der Form
	:$${\rm E} \~~left~~ [ F(X)\~~right~~ ] =\hspace{-0.3cm} \sum_{x \hspace{0.05cm}\in \hspace{0.05cm}\hspace{-0.03cm} {\rm supp} (P_X)} \hspace{-0.1cm}		:$${\rm E} \big [ F(X)\big ] =\hspace{-0.3cm} \sum_{x \hspace{0.05cm}\in \hspace{0.05cm}\hspace{-0.03cm} {\rm supp} (P_X)} \hspace{-0.1cm}
	P_{X}(x) \cdot F(x) $$		P_{X}(x) \cdot F(x) $$

Zeile 25:		Zeile 25:
	* Der <i>Support</i> von $P_X$ umfasst alle diejenigen Realisierungen $x$ der Zufallsgröße $X$ mit nicht verschwindender Wahrscheinlichkeit. <br>Formal kann hierfür geschrieben werden:		* Der <i>Support</i> von $P_X$ umfasst alle diejenigen Realisierungen $x$ der Zufallsgröße $X$ mit nicht verschwindender Wahrscheinlichkeit. <br>Formal kann hierfür geschrieben werden:
	:$${\rm supp} (P_X) = \{ x: \hspace{0.25cm}x \in X \hspace{0.15cm}\underline{\rm und} \hspace{0.15cm} P_X(x) \ne 0 \} \hspace{0.05cm}.$$		:$${\rm supp} (P_X) = \{ x: \hspace{0.25cm}x \in X \hspace{0.15cm}\underline{\rm und} \hspace{0.15cm} P_X(x) \ne 0 \} \hspace{0.05cm}.$$
	* $F(X)$ ist eine (beliebige) reellwertige Funktion, die im gesamten Definitionsgebiet der Zufallsgröße angebbar ist.		* $F(X)$ ist eine (beliebige) reellwertige Funktion, die im gesamten Definitionsgebiet der Zufallsgröße $X$ angebbar ist.


Zeile 33:		Zeile 33:
	: $F(X)= P_X(X)$,		: $F(X)= P_X(X)$,
	: $F(X)= - \log_2 \ P_X(X)$.		: $F(X)= - \log_2 \ P_X(X)$.






	''Hinweise:''		''Hinweise:''
	*Die Aufgabe gehört zum Kapitel [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen\|Einige Vorbemerkungen zu den 2D-Zufallsgrößen]].		*Die Aufgabe gehört zum Kapitel [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen\|Einige Vorbemerkungen zu den 2D-Zufallsgrößen]].
	* Die beiden &bdquo;eindimensionalen” Wahrscheinlichkeitsfunktionen $P_X(X)$ und $P_Y(Y)$ ergeben sich aus der dargestellten 2D–PMF $P_{XY}(X, Y)$, wie in [[Aufgaben:3.2Z_2D–Wahrscheinlichkeitsfunktion\|Zusatzaufgabe 3.2Z]] gezeigt werden soll.		* Die beiden &bdquo;eindimensionalen” Wahrscheinlichkeitsfunktionen $P_X(X)$ und $P_Y(Y)$ ergeben sich aus der dargestellten 2D–PMF $P_{XY}(X, Y)$, <br>wie in [[Aufgaben:3.2Z_2D–Wahrscheinlichkeitsfunktion\|Zusatzaufgabe 3.2Z]] gezeigt werden soll.
	* Zu den binären Wahrscheinlichkeitsfunktionen $P_U(U)$ und $P_V(V)$ kommt man entsprechend den Modulo–Operationen $U = X \hspace{0.1cm}\text{mod} \hspace{0.1cm}2$ sowie $V = Y \hspace{0.1cm}\text{mod} \hspace{0.1cm} 2$.		* Zu den binären Wahrscheinlichkeitsfunktionen $P_U(U)$ und $P_V(V)$ kommt man entsprechend den Modulo–Operationen $U = X \hspace{0.1cm}\text{mod} \hspace{0.1cm}2$ sowie $V = Y \hspace{0.1cm}\text{mod} \hspace{0.1cm} 2$.

Zeile 47:		Zeile 51:
	{Welche Ergebnisse liefern die folgenden Erwartungswerte?		{Welche Ergebnisse liefern die folgenden Erwartungswerte?
	\|type="{}"}		\|type="{}"}
	${\rm E}[1/P_X(X)] \ = \ $ { 3 3% }		${\rm E}\big[1/P_X(X)\big] \ = \ $ { 3 3% }
	${\rm E}[1/P_{\hspace{0.04cm}Y}(\hspace{0.02cm}Y\hspace{0.02cm})] \ = \ ${ 3 3% }		${\rm E}\big[1/P_{\hspace{0.04cm}Y}(\hspace{0.02cm}Y\hspace{0.02cm})\big] \ = \ ${ 3 3% }


	{Geben Sie die folgenden Erwartungswerte an:		{Geben Sie die folgenden Erwartungswerte an:
	\|type="{}"}		\|type="{}"}
	${\rm E}[P_X(X)] \ = \ $ { 0.406 3% }		${\rm E}\big[P_X(X)\big] \ = \ $ { 0.406 3% }
	${\rm E}[P_Y(Y)] \ = \ $ { 0.375 3% }		${\rm E}\big[P_Y(Y)\big] \ = \ $ { 0.375 3% }


	{Berechnen Sie nun die folgenden Erwartungswerte:		{Berechnen Sie nun die folgenden Erwartungswerte:
	\|type="{}"}		\|type="{}"}
	${\rm E}[P_Y(X)] \ = \ $ { 0.281 3% }		${\rm E}\big[P_Y(X)\big] \ = \ $ { 0.281 3% }
	${\rm E}[P_X(Y)] \ = \ $ { 0.281 3% }		${\rm E}\big[P_X(Y)\big] \ = \ $ { 0.281 3% }


	{Welche der folgenden Aussagen sind zutreffend?		{Welche der folgenden Aussagen sind zutreffend?
	\|type="[]"}		\|type="[]"}
	+ ${\rm E}[- \log_2 \ P_U(U)]$ ergibt die Entropie der Zufallsgröße $U$.		+ ${\rm E}\big[- \log_2 \ P_U(U)\big]$ ergibt die Entropie der Zufallsgröße $U$.
	+ ${\rm E}[- \log_2 \ P_V(V)]$ ergibt die Entropie der Zufallsgröße $V$.		+ ${\rm E}\big[- \log_2 \ P_V(V)\big]$ ergibt die Entropie der Zufallsgröße $V$.
	- ${\rm E}[- \log_2 \ P_V(U)]$ ergibt die Entropie der Zufallsgröße $V$.		- ${\rm E}\big[- \log_2 \ P_V(U)\big]$ ergibt die Entropie der Zufallsgröße $V$.

Mwiki-lnt: Textersetzung - „*Sollte die Eingabe des Zahlenwertes „0” erforderlich sein, so geben Sie bitte „0.” ein.“ durch „ “

2018-05-29T12:02:49Z

Textersetzung - „*Sollte die Eingabe des Zahlenwertes „0” erforderlich sein, so geben Sie bitte „0.” ein.“ durch „ “

← Nächstältere Version		Version vom 29. Mai 2018, 14:02 Uhr
Zeile 39:		Zeile 39:
	* Die beiden &bdquo;eindimensionalen” Wahrscheinlichkeitsfunktionen $P_X(X)$ und $P_Y(Y)$ ergeben sich aus der dargestellten 2D–PMF $P_{XY}(X, Y)$, wie in [[Aufgaben:3.2Z_2D–Wahrscheinlichkeitsfunktion\|Zusatzaufgabe 3.2Z]] gezeigt werden soll.		* Die beiden &bdquo;eindimensionalen” Wahrscheinlichkeitsfunktionen $P_X(X)$ und $P_Y(Y)$ ergeben sich aus der dargestellten 2D–PMF $P_{XY}(X, Y)$, wie in [[Aufgaben:3.2Z_2D–Wahrscheinlichkeitsfunktion\|Zusatzaufgabe 3.2Z]] gezeigt werden soll.
	* Zu den binären Wahrscheinlichkeitsfunktionen $P_U(U)$ und $P_V(V)$ kommt man entsprechend den Modulo–Operationen $U = X \hspace{0.1cm}\text{mod} \hspace{0.1cm}2$ sowie $V = Y \hspace{0.1cm}\text{mod} \hspace{0.1cm} 2$.		* Zu den binären Wahrscheinlichkeitsfunktionen $P_U(U)$ und $P_V(V)$ kommt man entsprechend den Modulo–Operationen $U = X \hspace{0.1cm}\text{mod} \hspace{0.1cm}2$ sowie $V = Y \hspace{0.1cm}\text{mod} \hspace{0.1cm} 2$.
	*Sollte die Eingabe des Zahlenwertes &bdquo;0” erforderlich sein, so geben Sie bitte &bdquo;0.” ein.

Guenter: Guenter verschob die Seite Aufgaben:3.2 Erwartungswertberechnungen nach Aufgaben:Aufgabe 3.2: Erwartungswertberechnungen

2018-01-03T14:03:11Z

Guenter verschob die Seite Aufgaben:3.2 Erwartungswertberechnungen nach Aufgaben:Aufgabe 3.2: Erwartungswertberechnungen

← Nächstältere Version		Version vom 3. Januar 2018, 16:03 Uhr
(kein Unterschied)

Guenter am 5. Juni 2017 um 10:53 Uhr

2017-06-05T10:53:43Z

← Nächstältere Version		Version vom 5. Juni 2017, 12:53 Uhr
Zeile 117:		Zeile 117:


	[[Category:Aufgaben zu Informationstheorie\|^3.1 ~~Vorbemerkungen~~ zu 2D-Zufallsgrößen^]]		[[Category:Aufgaben zu Informationstheorie\|^3.1 Allgemeines zu 2D-Zufallsgrößen^]]

← Nächstältere Version		Version vom 30. Januar 2020, 15:24 Uhr
Zeile 81:		Zeile 81:
	===Musterlösung===		===Musterlösung===
	{{ML-Kopf}}		{{ML-Kopf}}
	'''(1)'''  Allgemein gilt für den Erwartungswert der Funktion $F(X)$ hinsichtlich der Zufallsvariablen $X$:		'''(1)'''  Allgemein gilt für den Erwartungswert der Funktion  $F(X)$  hinsichtlich der Zufallsvariablen  $X$:
	:$${\rm E} \left [ F(X)\right ] = \hspace{-0.4cm} \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} {\rm supp} (P_X)} \hspace{-0.2cm}		:$${\rm E} \left [ F(X)\right ] = \hspace{-0.4cm} \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} {\rm supp} (P_X)} \hspace{-0.2cm}
	P_{X}(x) \cdot F(x) \hspace{0.05cm}.$$		P_{X}(x) \cdot F(x) \hspace{0.05cm}.$$
	Im vorliegenden Beispiel gilt $X = \{0, 1, 2, 3\}$ und $P_X(X) = \big [1/2, \ 1/8, \ 0, \ 3/8\big ]$.		Im vorliegenden Beispiel gilt dabei  $X = \{0,\ 1,\ 2,\ 3\}$  und  $P_X(X) = \big [1/2, \ 1/8, \ 0, \ 3/8\big ]$.
	*Wegen $P_X(X = 2) = 0$ ergibt sich somit für die zu berücksichtigende Menge (&bdquo;Support”) in obiger Summation:		*Wegen  $P_X(X = 2) = 0$  ergibt sich somit für die zu berücksichtigende Menge  (dem &bdquo;Support”)  in obiger Summation:
	:$${\rm supp} (P_X) = \{ 0\hspace{0.05cm}, 1\hspace{0.05cm}, 3 \} \hspace{0.05cm}.$$		:$${\rm supp} (P_X) = \{ 0\hspace{0.05cm}, 1\hspace{0.05cm}, 3 \} \hspace{0.05cm}.$$
	*Mit $F(X) = 1/P_X(X)$ erhält man weiter:		*Mit  $F(X) = 1/P_X(X)$  erhält man weiter:
	:$${\rm E} \big [ 1/P_X(X)\big ] = \hspace{-0.4cm} \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 3 \}} \hspace{-0.4cm} P_{X}(x) \cdot {1}/{P_X(x)}		:$${\rm E} \big [ 1/P_X(X)\big ] = \hspace{-0.4cm} \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 3 \}} \hspace{-0.4cm} P_{X}(x) \cdot {1}/{P_X(x)}
	= \hspace{-0.4cm} \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 3 \}} \hspace{-0.3cm} 1		= \hspace{-0.4cm} \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 3 \}} \hspace{-0.3cm} 1
	\hspace{0.15cm}\underline{ = 3} \hspace{0.05cm}.$$		\hspace{0.15cm}\underline{ = 3} \hspace{0.05cm}.$$
	*Der zweite Erwartungswert liefert mit ${\rm supp} (P_Y) = \{ 0\hspace{0.05cm}, 1\hspace{0.05cm}, 2 \} $ das gleiche Ergebnis:		*Der zweite Erwartungswert liefert mit  ${\rm supp} (P_Y) = \{ 0\hspace{0.05cm}, 1\hspace{0.05cm}, 2 \} $  das gleiche Ergebnis:
	:$${\rm E} \left [ 1/P_Y(Y)\right ] \hspace{0.15cm}\underline{ = 3}.$$		:$${\rm E} \left [ 1/P_Y(Y)\right ] \hspace{0.15cm}\underline{ = 3}.$$


	'''(2)'''  In beiden Fällen ist der Index der Wahrscheinlichkeitsfunktion mit der Zufallsvariablen ($X$ bzw. $Y$) identisch und man erhält
			'''(2)'''  In beiden Fällen ist der Index der Wahrscheinlichkeitsfunktion mit der Zufallsvariablen  $(X$  bzw.  $Y)$  identisch und man erhält
	:$${\rm E} \big [ P_X(X)\big ] = \hspace{-0.3cm} \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 3 \}} \hspace{-0.3cm} P_{X}(x) \cdot {P_X(x)}		:$${\rm E} \big [ P_X(X)\big ] = \hspace{-0.3cm} \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 3 \}} \hspace{-0.3cm} P_{X}(x) \cdot {P_X(x)}
	= (1/2)^2 + (1/8)^2 + (3/8)^2 = 13/32		= (1/2)^2 + (1/8)^2 + (3/8)^2 = 13/32
Zeile 101:		Zeile 102:
	:$${\rm E} \big [ P_Y(Y)\big ] = \hspace{-0.3cm} \sum_{y \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 2 \}} \hspace{-0.3cm} P_Y(y) \cdot P_Y(y) = (1/2)^2 + (1/4)^2 + (1/4)^2		:$${\rm E} \big [ P_Y(Y)\big ] = \hspace{-0.3cm} \sum_{y \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 2 \}} \hspace{-0.3cm} P_Y(y) \cdot P_Y(y) = (1/2)^2 + (1/4)^2 + (1/4)^2
	\hspace{0.15cm}\underline{ = 0.375} \hspace{0.05cm}.$$		\hspace{0.15cm}\underline{ = 0.375} \hspace{0.05cm}.$$



Zeile 106:		Zeile 108:
	:$${\rm E} \big [ P_Y(X)\big ] = \hspace{-0.3cm} \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 3 \}} \hspace{-0.3cm} P_{X}(x) \cdot {P_Y(x)} = \frac{1}{2} \cdot \frac{1}{2} + \frac{1}{8} \cdot \frac{1}{4} + \frac{3}{8} \cdot 0 = 9/32		:$${\rm E} \big [ P_Y(X)\big ] = \hspace{-0.3cm} \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 3 \}} \hspace{-0.3cm} P_{X}(x) \cdot {P_Y(x)} = \frac{1}{2} \cdot \frac{1}{2} + \frac{1}{8} \cdot \frac{1}{4} + \frac{3}{8} \cdot 0 = 9/32
	\hspace{0.15cm}\underline{ \approx 0.281} \hspace{0.05cm},$$		\hspace{0.15cm}\underline{ \approx 0.281} \hspace{0.05cm},$$
	*Die Erwartungswertbildung bezieht sich hier auf $P_X(·)$, also auf die Zufallsgröße $X$.		*Die Erwartungswertbildung bezieht sich hier auf  $P_X(·)$, also auf die Zufallsgröße  $X$.
	*$P_Y(·)$ ist dabei die formale Funktion ohne (direkten) Bezug zur Zufallsgröße $Y$.		*$P_Y(·)$  ist dabei die formale Funktion ohne (direkten) Bezug zur Zufallsgröße  $Y$.

	*Für den zweiten Erwartungswert erhält man im vorliegenden den gleichen Zahlenwert (das muss nicht so sein):		*Für den zweiten Erwartungswert erhält man im vorliegenden den gleichen Zahlenwert  (das muss nicht so sein):
	:$${\rm E} \big [ P_X(Y)\big ] = \hspace{-0.3cm} \sum_{y \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 2 \}} \hspace{-0.3cm} P_{Y}(y) \cdot {P_X(y)} = \frac{1}{2} \cdot \frac{1}{2} + \frac{1}{4} \cdot \frac{1}{8} + \frac{1}{4} \cdot 0 = 9/32 \hspace{0.15cm}\underline{ \approx 0.281} \hspace{0.05cm}.$$		:$${\rm E} \big [ P_X(Y)\big ] = \hspace{-0.3cm} \sum_{y \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 2 \}} \hspace{-0.3cm} P_{Y}(y) \cdot {P_X(y)} = \frac{1}{2} \cdot \frac{1}{2} + \frac{1}{4} \cdot \frac{1}{8} + \frac{1}{4} \cdot 0 = 9/32 \hspace{0.15cm}\underline{ \approx 0.281} \hspace{0.05cm}.$$



	'''(4)'''  Wir berechnen zunächst die drei Erwartungswerte:		'''(4)'''  Wir berechnen zunächst die drei Erwartungswerte:
	:$${\rm E} \big [-{\rm log}_2 \hspace{0.1cm} P_U(U)\big ]		:$${\rm E} \big [-{\rm log}_2 \hspace{0.1cm} P_U(U)\big ]
	= \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} \frac{2}{1} + \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} \frac{2}{1} \hspace{0.15cm}\underline{ = 1\,{\rm bit}} \hspace{0.05cm},$$		= \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} \frac{2}{1} + \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} \frac{2}{1} \hspace{0.15cm}\underline{ = 1\ {\rm bit}} \hspace{0.05cm},$$
	:$${\rm E} \big [-{\rm log}_2 \hspace{0.1cm} P_V(V)\big ]		:$${\rm E} \big [-{\rm log}_2 \hspace{0.1cm} P_V(V)\big ]
	= \frac{3}{4} \cdot {\rm log}_2 \hspace{0.1cm} \frac{4}{3} + \frac{1}{4} \cdot {\rm log}_2 \hspace{0.1cm} \frac{4}{1} \hspace{0.15cm}\underline{ = 0.811\,{\rm bit}} \hspace{0.05cm},$$		= \frac{3}{4} \cdot {\rm log}_2 \hspace{0.1cm} \frac{4}{3} + \frac{1}{4} \cdot {\rm log}_2 \hspace{0.1cm} \frac{4}{1} \hspace{0.15cm}\underline{ = 0.811\ {\rm bit}} \hspace{0.05cm},$$
	:$${\rm E} \big [-{\rm log}_2 \hspace{0.1cm} P_V(U)\big ]		:$${\rm E} \big [-{\rm log}_2 \hspace{0.1cm} P_V(U)\big ]
	= \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} \frac{4}{3} + \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} \frac{4}{1} \hspace{0.15cm}\underline{ = 1.208\,{\rm bit}} \hspace{0.05cm}.$$		= \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} \frac{4}{3} + \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} \frac{4}{1} \hspace{0.15cm}\underline{ = 1.208\ {\rm bit}} \hspace{0.05cm}.$$
	Richtig sind demnach die <u>beiden ersten Aussagen</u>:		Richtig sind demnach die <u>beiden ersten Aussagen</u>:
	* Die Entropie $H(U) = 1$ bit kann entsprechend der ersten Gleichung berechnet werden. Sie gilt für die binäre Zufallsgröße $U$ mit gleichen Wahrscheinlichkeiten.		* Die Entropie  $H(U) = 1$  bit  kann entsprechend der ersten Gleichung berechnet werden.  Sie gilt für die binäre Zufallsgröße  $U$  mit gleichen Wahrscheinlichkeiten.
	* Die Entropie $H(V) = 0.811$ bit berechnet sich entsprechend der zweiten Gleichung. Aufgrund der Wahrscheinlichkeiten $3/4$ und $1/4$ ist die Entropie (Unsicherheit) hier kleiner als für die Zufallsgröße $U$.		* Die Entropie  $H(V) = 0.811$  bit  berechnet sich entsprechend der zweiten Gleichung.  Aufgrund der Wahrscheinlichkeiten  $3/4$  und  $1/4$  ist die Entropie (Unsicherheit) hier kleiner als für die Zufallsgröße  $U$.
	* Der dritte Erwartungswert kann schon allein vom Ergebnis her $(1.208$ bit$)$ nicht die Entropie einer binären Zufallsgröße angeben, die stets auf $1$ bit begrenzt ist.		* Der dritte Erwartungswert kann schon allein vom Ergebnis her  $(1.208$  bit$)$  nicht die Entropie einer binären Zufallsgröße angeben, die stets auf  $1$  (bit)  begrenzt ist.
	{{ML-Fuß}}		{{ML-Fuß}}