Aufgaben:Aufgabe 3.2: Erwartungswertberechnungen: Unterschied zwischen den Versionen

Aus LNTwww
Wechseln zu:Navigation, Suche
(7 dazwischenliegende Versionen von 2 Benutzern werden nicht angezeigt)
Zeile 3: Zeile 3:
 
}}
 
}}
  
[[Datei:P_ID2751__Inf_A_3_2.png|right|2D–Wahrscheinlichkeitsfunktion]]
+
[[Datei:P_ID2751__Inf_A_3_2.png|right|frame|2D–Wahrscheinlichkeitsfunktion]]
 
Wir betrachten folgende Wahrscheinlichkeitsfunktionen:
 
Wir betrachten folgende Wahrscheinlichkeitsfunktionen:
  
: $P_X(X) = [1/2, 1/8, 0, 3/8]$,
+
:$$P_X(X) = \big[1/2,\ 1/8,\ 0,\ 3/8 \big],$$
: $P_Y(Y) = [1/2, 1/4, 1/4, 0]$,
+
:$$P_Y(Y) = \big[1/2,\ 1/4,\ 1/4,\ 0 \big],$$
: $P_U(U) = [1/2, 1/2]$,
+
:$$P_U(U) = \big[1/2,\ 1/2 \big],$$
: $P_V(V) = [3/4, 1/4]$.
+
:$$P_V(V) = \big[3/4,\ 1/4\big].$$
  
 
Für die dazugehörigen Zufallsgrößen gelte:
 
Für die dazugehörigen Zufallsgrößen gelte:
  
: $X= \{0, 1, 2, 3\}$, $Y= \{0, 1, 2, 3\}$,
+
: $X= \{0,\ 1,\ 2,\ 3\}$,      $Y= \{0,\ 1,\ 2,\ 3\}$,    $U = \{0,\ 1\}$,     $V = \{0, 1\}$.
: $U = \{0, 1\}$, $U = \{0, 1\}$.
 
  
 
Oft muss man für solche diskreten Zufallsgrößen verschiedene Erwartungswerte der Form
 
Oft muss man für solche diskreten Zufallsgrößen verschiedene Erwartungswerte der Form
:$${\rm E} \left [ F(X)\right ] =\hspace{-0.3cm}  \sum_{x \hspace{0.05cm}\in \hspace{0.05cm}\hspace{-0.03cm}  {\rm supp} (P_X)}  \hspace{-0.1cm}  
+
:$${\rm E} \big [ F(X)\big ] =\hspace{-0.3cm}  \sum_{x \hspace{0.05cm}\in \hspace{0.05cm}\hspace{-0.03cm}  {\rm supp} (P_X)}  \hspace{-0.1cm}  
 
  P_{X}(x) \cdot F(x) $$
 
  P_{X}(x) \cdot F(x) $$
  
 
berechnen. Hierbei bedeuten:
 
berechnen. Hierbei bedeuten:
  
* $P_X(X)$ bezeichnet die <i>Wahrscheinlichkeitsfunktion</i> der diskreten Zufallsgröße $X$.
+
* $P_X(X)$&nbsp; bezeichnet die <i>Wahrscheinlichkeitsfunktion</i> der diskreten Zufallsgröße&nbsp; $X$.
* Der <i>Support</i> von $P_X$ umfasst alle diejenigen Realisierungen $x$ der Zufallsgröße $X$ mit nicht verschwindender Wahrscheinlichkeit. <br>Formal kann hierfür geschrieben werden:
+
* Der&nbsp; <i>Support</i>&nbsp; von&nbsp; $P_X$&nbsp; umfasst alle diejenigen Realisierungen&nbsp; $x$&nbsp; der Zufallsgröße&nbsp; $X$&nbsp; mit nicht verschwindender Wahrscheinlichkeit.  
 +
*Formal kann hierfür geschrieben werden:
 
:$${\rm supp} (P_X)  = \{ x: \hspace{0.25cm}x \in X \hspace{0.15cm}\underline{\rm und} \hspace{0.15cm} P_X(x) \ne 0 \} \hspace{0.05cm}.$$
 
:$${\rm supp} (P_X)  = \{ x: \hspace{0.25cm}x \in X \hspace{0.15cm}\underline{\rm und} \hspace{0.15cm} P_X(x) \ne 0 \} \hspace{0.05cm}.$$
* $F(X)$ ist eine (beliebige) reellwertige Funktion, die im gesamten Definitionsgebiet der Zufallsgröße angebbar ist.
+
* $F(X)$&nbsp; ist eine (beliebige) reellwertige Funktion, die im gesamten Definitionsgebiet der Zufallsgröße&nbsp; $X$&nbsp; angebbar ist.
  
  
In der Aufgabe sollen die Erwartungswerte für verschiedene Funktionen $F(X)$ berechnet werden, unter anderem für
+
In der Aufgabe sollen die Erwartungswerte für verschiedene Funktionen&nbsp; $F(X)$&nbsp; berechnet werden, unter anderem für
  
 
: $F(X)= 1/P_X(X)$,
 
: $F(X)= 1/P_X(X)$,
 
: $F(X)= P_X(X)$,
 
: $F(X)= P_X(X)$,
 
: $F(X)= - \log_2 \ P_X(X)$.
 
: $F(X)= - \log_2 \ P_X(X)$.
 +
 +
 +
 +
 +
 +
  
  
 
''Hinweise:''  
 
''Hinweise:''  
*Die Aufgabe gehört zum  Kapitel [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen|Einige Vorbemerkungen zu den 2D-Zufallsgrößen]].
+
*Die Aufgabe gehört zum  Kapitel&nbsp; [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen|Einige Vorbemerkungen zu den 2D-Zufallsgrößen]].
* Die beiden &bdquo;eindimensionalen&rdquo; Wahrscheinlichkeitsfunktionen $P_X(X)$ und $P_Y(Y)$ ergeben sich aus der dargestellten 2D&ndash;PMF $P_{XY}(X, Y)$, wie in [[Aufgaben:3.2Z_2D–Wahrscheinlichkeitsfunktion|Zusatzaufgabe 3.2Z]] gezeigt werden soll.
+
* Die beiden 1D&ndash;Wahrscheinlichkeitsfunktionen&nbsp; $P_X(X)$&nbsp; und&nbsp; $P_Y(Y)$&nbsp; ergeben sich aus der dargestellten 2D&ndash;PMF&nbsp; $P_{XY}(X,\ Y)$, wie in&nbsp; [[Aufgaben:3.2Z_2D–Wahrscheinlichkeitsfunktion|Aufgabe 3.2Z]]&nbsp; gezeigt werden soll.
* Zu den binären Wahrscheinlichkeitsfunktionen $P_U(U)$ und $P_V(V)$ kommt man entsprechend den Modulo&ndash;Operationen $U = X \hspace{0.1cm}\text{mod} \hspace{0.1cm}2$ sowie $V = Y \hspace{0.1cm}\text{mod} \hspace{0.1cm} 2$.
+
* Zu den binären Wahrscheinlichkeitsfunktionen&nbsp; $P_U(U)$&nbsp; und&nbsp; $P_V(V)$&nbsp; kommt man entsprechend den Modulo&ndash;Operationen&nbsp; $U = X \hspace{0.1cm}\text{mod} \hspace{0.1cm}2$&nbsp; sowie&nbsp; $V = Y \hspace{0.1cm}\text{mod} \hspace{0.1cm} 2$.
*Sollte die Eingabe des Zahlenwertes &bdquo;0&rdquo; erforderlich sein, so geben Sie bitte &bdquo;0.&rdquo; ein.
+
  
  
Zeile 47: Zeile 53:
 
{Welche Ergebnisse liefern die folgenden Erwartungswerte?
 
{Welche Ergebnisse liefern die folgenden Erwartungswerte?
 
|type="{}"}
 
|type="{}"}
${\rm E}[1/P_X(X)] \ = \ $  { 3 3% }
+
${\rm E}\big[1/P_X(X)\big] \ = \ $  { 3 3% }
${\rm E}[1/P_{\hspace{0.04cm}Y}(\hspace{0.02cm}Y\hspace{0.02cm})] \ = \ ${ 3 3% }
+
${\rm E}\big[1/P_{\hspace{0.04cm}Y}(\hspace{0.02cm}Y\hspace{0.02cm})\big] \ = \ ${ 3 3% }
  
  
 
{Geben Sie die folgenden Erwartungswerte an:
 
{Geben Sie die folgenden Erwartungswerte an:
 
|type="{}"}
 
|type="{}"}
${\rm E}[P_X(X)] \ = \ $ { 0.406 3% }
+
${\rm E}\big[P_X(X)\big] \ = \ $ { 0.406 3% }
${\rm E}[P_Y(Y)] \ = \ $ { 0.375 3% }
+
${\rm E}\big[P_Y(Y)\big] \ = \ $ { 0.375 3% }
  
  
 
{Berechnen Sie nun die folgenden Erwartungswerte:
 
{Berechnen Sie nun die folgenden Erwartungswerte:
 
|type="{}"}
 
|type="{}"}
${\rm E}[P_Y(X)] \ = \ $ { 0.281 3% }
+
${\rm E}\big[P_Y(X)\big] \ = \ $ { 0.281 3% }
${\rm E}[P_X(Y)] \ = \ $ { 0.281 3% }
+
${\rm E}\big[P_X(Y)\big] \ = \ $ { 0.281 3% }
  
  
 
{Welche der folgenden Aussagen sind zutreffend?
 
{Welche der folgenden Aussagen sind zutreffend?
 
|type="[]"}
 
|type="[]"}
+ ${\rm E}[- \log_2 \ P_U(U)]$ ergibt die Entropie der Zufallsgröße $U$.
+
+ ${\rm E}\big[- \log_2 \ P_U(U)\big]$&nbsp; ergibt die Entropie der Zufallsgröße&nbsp; $U$.
+ ${\rm E}[- \log_2 \ P_V(V)]$ ergibt die Entropie der Zufallsgröße $V$.
+
+ ${\rm E}\big[- \log_2 \ P_V(V)\big]$&nbsp; ergibt die Entropie der Zufallsgröße&nbsp; $V$.
- ${\rm E}[- \log_2 \ P_V(U)]$ ergibt die Entropie der Zufallsgröße $V$.
+
- ${\rm E}\big[- \log_2 \ P_V(U)\big]$&nbsp; ergibt die Entropie der Zufallsgröße&nbsp; $V$.
  
  
Zeile 75: Zeile 81:
 
===Musterlösung===
 
===Musterlösung===
 
{{ML-Kopf}}
 
{{ML-Kopf}}
'''(1)'''&nbsp; Allgemein gilt für den Erwartungswert der Funktion <i>F</i>(<i>X</i>) hinsichtlich der Zufallsvariablen <i>X</i>:
+
'''(1)'''&nbsp; Allgemein gilt für den Erwartungswert der Funktion&nbsp; $F(X)$&nbsp; hinsichtlich der Zufallsvariablen&nbsp; $X$:
 
:$${\rm E} \left [ F(X)\right ] = \hspace{-0.4cm} \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} {\rm supp} (P_X)}  \hspace{-0.2cm}  
 
:$${\rm E} \left [ F(X)\right ] = \hspace{-0.4cm} \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} {\rm supp} (P_X)}  \hspace{-0.2cm}  
 
  P_{X}(x) \cdot F(x)  \hspace{0.05cm}.$$
 
  P_{X}(x) \cdot F(x)  \hspace{0.05cm}.$$
Im vorliegenden Beispiel gilt <i>X</i> = {0, 1, 2, 3} und <i>P<sub>X</sub></i>(<i>X</i>) = [1/2, 1/8, 0, 3/8]. Wegen <i>P<sub>X</sub></i>(<i>X</i> = 2) = 0 ergibt sich somit für die zu berücksichtigende Menge (&bdquo;Support&rdquo;) in obiger Summation:
+
Im vorliegenden Beispiel gilt dabei&nbsp; $X = \{0,\ 1,\ 2,\ 3\}$&nbsp; und&nbsp; $P_X(X) = \big [1/2, \ 1/8, \ 0, \ 3/8\big ]$.  
 +
*Wegen&nbsp; $P_X(X = 2) = 0$&nbsp; ergibt sich somit für die zu berücksichtigende Menge&nbsp; (dem &bdquo;Support&rdquo;)&nbsp; in obiger Summation:
 
:$${\rm supp} (P_X)  = \{ 0\hspace{0.05cm}, 1\hspace{0.05cm}, 3 \}  \hspace{0.05cm}.$$
 
:$${\rm supp} (P_X)  = \{ 0\hspace{0.05cm}, 1\hspace{0.05cm}, 3 \}  \hspace{0.05cm}.$$
Mit <i>F</i>(<i>X</i>) = 1/<i>P<sub>X</sub></i>(<i>X</i>) erhält man weiter:
+
*Mit&nbsp; $F(X) = 1/P_X(X)$&nbsp;  erhält man weiter:
:$${\rm E} \left [ 1/P_X(X)\right ] = \hspace{-0.4cm} \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 3 \}}  \hspace{-0.4cm} P_{X}(x) \cdot {1}/{P_X(x)}  
+
:$${\rm E} \big [ 1/P_X(X)\big ] = \hspace{-0.4cm} \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 3 \}}  \hspace{-0.4cm} P_{X}(x) \cdot {1}/{P_X(x)}  
 
= \hspace{-0.4cm}  \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 3 \}}  \hspace{-0.3cm} 1  
 
= \hspace{-0.4cm}  \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 3 \}}  \hspace{-0.3cm} 1  
 
\hspace{0.15cm}\underline{ = 3} \hspace{0.05cm}.$$
 
\hspace{0.15cm}\underline{ = 3} \hspace{0.05cm}.$$
Der zweite Erwartungswert liefert mit supp(<i>P<sub>Y</sub></i>) = {0, 1, 2} das gleiche Ergebnis: E[1/<i>P<sub>Y</sub></i>(<i>Y</i>)] <u>= 3</u>.
+
*Der zweite Erwartungswert liefert mit&nbsp; ${\rm supp} (P_Y) = \{ 0\hspace{0.05cm}, 1\hspace{0.05cm}, 2 \} $&nbsp; das gleiche Ergebnis:
 +
:$${\rm E} \left [ 1/P_Y(Y)\right ] \hspace{0.15cm}\underline{ = 3}.$$
  
  
'''(2)'''&nbsp; In beiden Fällen ist der Index der Wahrscheinlichkeitsfunktion mit der Zufallsvariablen (<i>X</i> bzw. <i>Y</i>) identisch und man erhält
+
 
:$${\rm E} \left [ P_X(X)\right ] =  \hspace{-0.3cm}  \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 3 \}}  \hspace{-0.3cm}  P_{X}(x) \cdot {P_X(x)}  
+
'''(2)'''&nbsp; In beiden Fällen ist der Index der Wahrscheinlichkeitsfunktion mit der Zufallsvariablen&nbsp; $(X$&nbsp; bzw.&nbsp; $Y)$&nbsp; identisch und man erhält
 +
:$${\rm E} \big [ P_X(X)\big ] =  \hspace{-0.3cm}  \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 3 \}}  \hspace{-0.3cm}  P_{X}(x) \cdot {P_X(x)}  
 
= (1/2)^2 + (1/8)^2 + (3/8)^2 = 13/32
 
= (1/2)^2 + (1/8)^2 + (3/8)^2 = 13/32
 
\hspace{0.15cm}\underline{ \approx 0.406} \hspace{0.05cm},$$
 
\hspace{0.15cm}\underline{ \approx 0.406} \hspace{0.05cm},$$
:$${\rm E} \left [ P_Y(Y)\right ] = \hspace{-0.3cm}  \sum_{y \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 2 \}}  \hspace{-0.3cm}  P_Y(y) \cdot P_Y(y) = (1/2)^2 + (1/4)^2 + (1/4)^2  
+
:$${\rm E} \big [ P_Y(Y)\big ] = \hspace{-0.3cm}  \sum_{y \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 2 \}}  \hspace{-0.3cm}  P_Y(y) \cdot P_Y(y) = (1/2)^2 + (1/4)^2 + (1/4)^2  
 
\hspace{0.15cm}\underline{ = 0.375} \hspace{0.05cm}.$$
 
\hspace{0.15cm}\underline{ = 0.375} \hspace{0.05cm}.$$
 +
 +
  
 
'''(3)'''&nbsp; Hier gelten folgende Gleichungen:
 
'''(3)'''&nbsp; Hier gelten folgende Gleichungen:
:$${\rm E} \left [ P_Y(X)\right ] = \hspace{-0.3cm}  \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 3 \}}  \hspace{-0.3cm}  P_{X}(x) \cdot {P_Y(x)} = \frac{1}{2} \cdot \frac{1}{2} + \frac{1}{8} \cdot \frac{1}{4} + \frac{3}{8} \cdot 0 = 9/32
+
:$${\rm E} \big [ P_Y(X)\big ] = \hspace{-0.3cm}  \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 3 \}}  \hspace{-0.3cm}  P_{X}(x) \cdot {P_Y(x)} = \frac{1}{2} \cdot \frac{1}{2} + \frac{1}{8} \cdot \frac{1}{4} + \frac{3}{8} \cdot 0 = 9/32
 
\hspace{0.15cm}\underline{ \approx 0.281} \hspace{0.05cm},$$
 
\hspace{0.15cm}\underline{ \approx 0.281} \hspace{0.05cm},$$
Die Erwartungswertbildung bezieht sich hier auf <i>P<sub>X</sub></i>(&middot;), also auf die Zufallsgröße <i>X</i>. <i>P<sub>Y</sub></i>(&middot;) ist dabei die formale Funktion ohne (direkten) Bezug zur Zufallsgröße <i>Y</i>.
+
*Die Erwartungswertbildung bezieht sich hier auf&nbsp; $P_X(&middot;)$, also auf die Zufallsgröße&nbsp; $X$.  
 +
*$P_Y(&middot;)$&nbsp; ist dabei die formale Funktion ohne (direkten) Bezug zur Zufallsgröße&nbsp; $Y$.
 +
 
 +
*Für den zweiten Erwartungswert erhält man im vorliegenden den gleichen Zahlenwert&nbsp; (das muss nicht so sein):
 +
:$${\rm E} \big [ P_X(Y)\big ] = \hspace{-0.3cm}  \sum_{y \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 2 \}}  \hspace{-0.3cm}  P_{Y}(y) \cdot {P_X(y)} = \frac{1}{2} \cdot \frac{1}{2} + \frac{1}{4} \cdot \frac{1}{8} + \frac{1}{4} \cdot 0 = 9/32 \hspace{0.15cm}\underline{ \approx 0.281} \hspace{0.05cm}.$$
 +
 
  
Für den zweiten Erwartungswert erhält man im vorliegenden den gleichen Zahlenwert (das muss nicht so sein):
 
:$${\rm E} \left [ P_X(Y)\right ] = \hspace{-0.3cm}  \sum_{y \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 2 \}}  \hspace{-0.3cm}  P_{Y}(y) \cdot {P_X(y)} = \frac{1}{2} \cdot \frac{1}{2} + \frac{1}{4} \cdot \frac{1}{8} + \frac{1}{4} \cdot 0 = 9/32 \hspace{0.15cm}\underline{ \approx 0.281} \hspace{0.05cm}.$$
 
  
 
'''(4)'''&nbsp; Wir berechnen zunächst die drei Erwartungswerte:
 
'''(4)'''&nbsp; Wir berechnen zunächst die drei Erwartungswerte:
:$${\rm E} \left [-{\rm log}_2 \hspace{0.1cm} P_U(U)\right ]  
+
:$${\rm E} \big [-{\rm log}_2 \hspace{0.1cm} P_U(U)\big ]  
  = \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} \frac{2}{1} + \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} \frac{2}{1} \hspace{0.15cm}\underline{ = 1\,{\rm bit}} \hspace{0.05cm},$$
+
  = \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} \frac{2}{1} + \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} \frac{2}{1} \hspace{0.15cm}\underline{ = 1\ {\rm bit}} \hspace{0.05cm},$$
:$${\rm E} \left [-{\rm log}_2 \hspace{0.1cm} P_V(V)\right ]  
+
:$${\rm E} \big [-{\rm log}_2 \hspace{0.1cm} P_V(V)\big ]  
  = \frac{3}{4} \cdot {\rm log}_2 \hspace{0.1cm} \frac{4}{3} + \frac{1}{4} \cdot {\rm log}_2 \hspace{0.1cm} \frac{4}{1} \hspace{0.15cm}\underline{ = 0.811\,{\rm bit}} \hspace{0.05cm},$$
+
  = \frac{3}{4} \cdot {\rm log}_2 \hspace{0.1cm} \frac{4}{3} + \frac{1}{4} \cdot {\rm log}_2 \hspace{0.1cm} \frac{4}{1} \hspace{0.15cm}\underline{ = 0.811\ {\rm bit}} \hspace{0.05cm},$$
:$${\rm E} \left [-{\rm log}_2 \hspace{0.1cm} P_V(U)\right ]  
+
:$${\rm E} \big [-{\rm log}_2 \hspace{0.1cm} P_V(U)\big ]  
  = \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} \frac{4}{3} + \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} \frac{4}{1} \hspace{0.15cm}\underline{ = 1.208\,{\rm bit}} \hspace{0.05cm}.$$
+
  = \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} \frac{4}{3} + \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} \frac{4}{1} \hspace{0.15cm}\underline{ = 1.208\ {\rm bit}} \hspace{0.05cm}.$$
 
Richtig sind demnach die <u>beiden ersten Aussagen</u>:
 
Richtig sind demnach die <u>beiden ersten Aussagen</u>:
* Die Entropie <i>H</i>(<i>U</i>) = 1 bit kann entsprechend der ersten Gleichung berechnet werden. Sie gilt für die binäre Zufallsgröße <i>U</i> mit gleichen Wahrscheinlichkeiten.
+
* Die Entropie&nbsp; $H(U) = 1$&nbsp; bit&nbsp; kann entsprechend der ersten Gleichung berechnet werden.&nbsp; Sie gilt für die binäre Zufallsgröße&nbsp; $U$&nbsp; mit gleichen Wahrscheinlichkeiten.
* Die Entropie <i>H</i>(<i>V</i>) = 0.811 bit berechnet sich entsprechend der zweiten Gleichung. Aufgrund der Wahrscheinlichkeiten 3/4 und 1/4 ist die Entropie (Unsicherheit) kleiner als für die Zufallsgröße <i>U</i>.
+
* Die Entropie&nbsp; $H(V) = 0.811$&nbsp; bit&nbsp; berechnet sich entsprechend der zweiten Gleichung.&nbsp; Aufgrund der Wahrscheinlichkeiten&nbsp; $3/4$&nbsp; und&nbsp; $1/4$&nbsp; ist die Entropie (Unsicherheit) hier kleiner als für die Zufallsgröße&nbsp; $U$.
* Der dritte Erwartungswert kann schon allein vom Ergebnis her (1.208 bit) nicht die Entropie einer binären Zufallsgröße angeben, die stets auf 1 bit begrenzt ist.
+
* Der dritte Erwartungswert kann schon allein vom Ergebnis her&nbsp; $(1.208$&nbsp; bit$)$&nbsp; nicht die Entropie einer binären Zufallsgröße angeben, die stets auf&nbsp; $1$&nbsp; (bit)&nbsp; begrenzt ist.
 
{{ML-Fuß}}
 
{{ML-Fuß}}
  
  
  
[[Category:Aufgaben zu Informationstheorie|^3.1 Vorbemerkungen zu 2D-Zufallsgrößen^]]
+
[[Category:Aufgaben zu Informationstheorie|^3.1 Allgemeines zu 2D-Zufallsgrößen^]]

Version vom 30. Januar 2020, 14:24 Uhr

2D–Wahrscheinlichkeitsfunktion

Wir betrachten folgende Wahrscheinlichkeitsfunktionen:

$$P_X(X) = \big[1/2,\ 1/8,\ 0,\ 3/8 \big],$$
$$P_Y(Y) = \big[1/2,\ 1/4,\ 1/4,\ 0 \big],$$
$$P_U(U) = \big[1/2,\ 1/2 \big],$$
$$P_V(V) = \big[3/4,\ 1/4\big].$$

Für die dazugehörigen Zufallsgrößen gelte:

$X= \{0,\ 1,\ 2,\ 3\}$,     $Y= \{0,\ 1,\ 2,\ 3\}$,    $U = \{0,\ 1\}$,     $V = \{0, 1\}$.

Oft muss man für solche diskreten Zufallsgrößen verschiedene Erwartungswerte der Form

$${\rm E} \big [ F(X)\big ] =\hspace{-0.3cm} \sum_{x \hspace{0.05cm}\in \hspace{0.05cm}\hspace{-0.03cm} {\rm supp} (P_X)} \hspace{-0.1cm} P_{X}(x) \cdot F(x) $$

berechnen. Hierbei bedeuten:

  • $P_X(X)$  bezeichnet die Wahrscheinlichkeitsfunktion der diskreten Zufallsgröße  $X$.
  • Der  Support  von  $P_X$  umfasst alle diejenigen Realisierungen  $x$  der Zufallsgröße  $X$  mit nicht verschwindender Wahrscheinlichkeit.
  • Formal kann hierfür geschrieben werden:
$${\rm supp} (P_X) = \{ x: \hspace{0.25cm}x \in X \hspace{0.15cm}\underline{\rm und} \hspace{0.15cm} P_X(x) \ne 0 \} \hspace{0.05cm}.$$
  • $F(X)$  ist eine (beliebige) reellwertige Funktion, die im gesamten Definitionsgebiet der Zufallsgröße  $X$  angebbar ist.


In der Aufgabe sollen die Erwartungswerte für verschiedene Funktionen  $F(X)$  berechnet werden, unter anderem für

$F(X)= 1/P_X(X)$,
$F(X)= P_X(X)$,
$F(X)= - \log_2 \ P_X(X)$.





Hinweise:

  • Die Aufgabe gehört zum Kapitel  Einige Vorbemerkungen zu den 2D-Zufallsgrößen.
  • Die beiden 1D–Wahrscheinlichkeitsfunktionen  $P_X(X)$  und  $P_Y(Y)$  ergeben sich aus der dargestellten 2D–PMF  $P_{XY}(X,\ Y)$, wie in  Aufgabe 3.2Z  gezeigt werden soll.
  • Zu den binären Wahrscheinlichkeitsfunktionen  $P_U(U)$  und  $P_V(V)$  kommt man entsprechend den Modulo–Operationen  $U = X \hspace{0.1cm}\text{mod} \hspace{0.1cm}2$  sowie  $V = Y \hspace{0.1cm}\text{mod} \hspace{0.1cm} 2$.


Fragebogen

1

Welche Ergebnisse liefern die folgenden Erwartungswerte?

${\rm E}\big[1/P_X(X)\big] \ = \ $

${\rm E}\big[1/P_{\hspace{0.04cm}Y}(\hspace{0.02cm}Y\hspace{0.02cm})\big] \ = \ $

2

Geben Sie die folgenden Erwartungswerte an:

${\rm E}\big[P_X(X)\big] \ = \ $

${\rm E}\big[P_Y(Y)\big] \ = \ $

3

Berechnen Sie nun die folgenden Erwartungswerte:

${\rm E}\big[P_Y(X)\big] \ = \ $

${\rm E}\big[P_X(Y)\big] \ = \ $

4

Welche der folgenden Aussagen sind zutreffend?

${\rm E}\big[- \log_2 \ P_U(U)\big]$  ergibt die Entropie der Zufallsgröße  $U$.
${\rm E}\big[- \log_2 \ P_V(V)\big]$  ergibt die Entropie der Zufallsgröße  $V$.
${\rm E}\big[- \log_2 \ P_V(U)\big]$  ergibt die Entropie der Zufallsgröße  $V$.


Musterlösung

(1)  Allgemein gilt für den Erwartungswert der Funktion  $F(X)$  hinsichtlich der Zufallsvariablen  $X$:

$${\rm E} \left [ F(X)\right ] = \hspace{-0.4cm} \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} {\rm supp} (P_X)} \hspace{-0.2cm} P_{X}(x) \cdot F(x) \hspace{0.05cm}.$$

Im vorliegenden Beispiel gilt dabei  $X = \{0,\ 1,\ 2,\ 3\}$  und  $P_X(X) = \big [1/2, \ 1/8, \ 0, \ 3/8\big ]$.

  • Wegen  $P_X(X = 2) = 0$  ergibt sich somit für die zu berücksichtigende Menge  (dem „Support”)  in obiger Summation:
$${\rm supp} (P_X) = \{ 0\hspace{0.05cm}, 1\hspace{0.05cm}, 3 \} \hspace{0.05cm}.$$
  • Mit  $F(X) = 1/P_X(X)$  erhält man weiter:
$${\rm E} \big [ 1/P_X(X)\big ] = \hspace{-0.4cm} \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 3 \}} \hspace{-0.4cm} P_{X}(x) \cdot {1}/{P_X(x)} = \hspace{-0.4cm} \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 3 \}} \hspace{-0.3cm} 1 \hspace{0.15cm}\underline{ = 3} \hspace{0.05cm}.$$
  • Der zweite Erwartungswert liefert mit  ${\rm supp} (P_Y) = \{ 0\hspace{0.05cm}, 1\hspace{0.05cm}, 2 \} $  das gleiche Ergebnis:
$${\rm E} \left [ 1/P_Y(Y)\right ] \hspace{0.15cm}\underline{ = 3}.$$


(2)  In beiden Fällen ist der Index der Wahrscheinlichkeitsfunktion mit der Zufallsvariablen  $(X$  bzw.  $Y)$  identisch und man erhält

$${\rm E} \big [ P_X(X)\big ] = \hspace{-0.3cm} \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 3 \}} \hspace{-0.3cm} P_{X}(x) \cdot {P_X(x)} = (1/2)^2 + (1/8)^2 + (3/8)^2 = 13/32 \hspace{0.15cm}\underline{ \approx 0.406} \hspace{0.05cm},$$
$${\rm E} \big [ P_Y(Y)\big ] = \hspace{-0.3cm} \sum_{y \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 2 \}} \hspace{-0.3cm} P_Y(y) \cdot P_Y(y) = (1/2)^2 + (1/4)^2 + (1/4)^2 \hspace{0.15cm}\underline{ = 0.375} \hspace{0.05cm}.$$


(3)  Hier gelten folgende Gleichungen:

$${\rm E} \big [ P_Y(X)\big ] = \hspace{-0.3cm} \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 3 \}} \hspace{-0.3cm} P_{X}(x) \cdot {P_Y(x)} = \frac{1}{2} \cdot \frac{1}{2} + \frac{1}{8} \cdot \frac{1}{4} + \frac{3}{8} \cdot 0 = 9/32 \hspace{0.15cm}\underline{ \approx 0.281} \hspace{0.05cm},$$
  • Die Erwartungswertbildung bezieht sich hier auf  $P_X(·)$, also auf die Zufallsgröße  $X$.
  • $P_Y(·)$  ist dabei die formale Funktion ohne (direkten) Bezug zur Zufallsgröße  $Y$.
  • Für den zweiten Erwartungswert erhält man im vorliegenden den gleichen Zahlenwert  (das muss nicht so sein):
$${\rm E} \big [ P_X(Y)\big ] = \hspace{-0.3cm} \sum_{y \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 2 \}} \hspace{-0.3cm} P_{Y}(y) \cdot {P_X(y)} = \frac{1}{2} \cdot \frac{1}{2} + \frac{1}{4} \cdot \frac{1}{8} + \frac{1}{4} \cdot 0 = 9/32 \hspace{0.15cm}\underline{ \approx 0.281} \hspace{0.05cm}.$$


(4)  Wir berechnen zunächst die drei Erwartungswerte:

$${\rm E} \big [-{\rm log}_2 \hspace{0.1cm} P_U(U)\big ] = \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} \frac{2}{1} + \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} \frac{2}{1} \hspace{0.15cm}\underline{ = 1\ {\rm bit}} \hspace{0.05cm},$$
$${\rm E} \big [-{\rm log}_2 \hspace{0.1cm} P_V(V)\big ] = \frac{3}{4} \cdot {\rm log}_2 \hspace{0.1cm} \frac{4}{3} + \frac{1}{4} \cdot {\rm log}_2 \hspace{0.1cm} \frac{4}{1} \hspace{0.15cm}\underline{ = 0.811\ {\rm bit}} \hspace{0.05cm},$$
$${\rm E} \big [-{\rm log}_2 \hspace{0.1cm} P_V(U)\big ] = \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} \frac{4}{3} + \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} \frac{4}{1} \hspace{0.15cm}\underline{ = 1.208\ {\rm bit}} \hspace{0.05cm}.$$

Richtig sind demnach die beiden ersten Aussagen:

  • Die Entropie  $H(U) = 1$  bit  kann entsprechend der ersten Gleichung berechnet werden.  Sie gilt für die binäre Zufallsgröße  $U$  mit gleichen Wahrscheinlichkeiten.
  • Die Entropie  $H(V) = 0.811$  bit  berechnet sich entsprechend der zweiten Gleichung.  Aufgrund der Wahrscheinlichkeiten  $3/4$  und  $1/4$  ist die Entropie (Unsicherheit) hier kleiner als für die Zufallsgröße  $U$.
  • Der dritte Erwartungswert kann schon allein vom Ergebnis her  $(1.208$  bit$)$  nicht die Entropie einer binären Zufallsgröße angeben, die stets auf  $1$  (bit)  begrenzt ist.