Aufgaben:Aufgabe 3.2: Erwartungswertberechnungen: Unterschied zwischen den Versionen

Aus LNTwww
Wechseln zu:Navigation, Suche
Zeile 1: Zeile 1:
  
{{quiz-Header|Buchseite=Informationstheorie und Quellencodierung/Einige Vorbemerkungen zu zweidimensionalen Zufallsgrößen
+
{{quiz-Header|Buchseite=Informationstheorie/Einige Vorbemerkungen zu zweidimensionalen Zufallsgrößen
 
}}
 
}}
  

Version vom 1. Dezember 2016, 11:31 Uhr

P ID2751 Inf A 3 2.png

Wir betrachten folgende Wahrscheinlichkeitsfunktionen:

  • PX(X) = [1/2, 1/8, 0, 3/8],
  • PY(Y) = [1/2, 1/4, 1/4, 0],
  • PU(U) = [1/2, 1/2],
  • PV(V) = [3/4, 1/4].

Für die dazugehörigen Zufallsgrößen gelte:

  • X = {0, 1, 2, 3}, Y = {0, 1, 2, 3},
  • U = {0, 1}, V = {0, 1}.

Oft muss man in der Informationstheorie für solche diskreten Zufallsgrößen verschiedene Erwartungswerte der Form

$${\rm E} \left [ F(X)\right ] = \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} {\rm supp} (P_X)} \hspace{-0.1cm} P_{X}(x) \cdot F(x) $$

berechnen. Hierbei bedeuten:

  • PX(X) bezeichnet die Wahrscheinlichkeitsfunktion der diskreten Zufallsgröße X.
  • Der Support von Px umfasst alle diejenigen Realisierungen x der Zufallsgröße X mit nicht verschwindender Wahrscheinlichkeit. Formal kann hierfür geschrieben werden:
$${\rm supp} (P_X) = \{ x: \hspace{0.25cm}x \in X \hspace{0.15cm}\underline{\rm und} \hspace{0.15cm} P_X(x) \ne 0 \} \hspace{0.05cm}.$$
  • F(X) ist eine (beliebige) reellwertige Funktion, die im gesamten Definitionsgebiet der Zufallsgröße angebbar ist.

In der Aufgabe sollen die Erwartungswerte für verschiedene Funktionen F(X) berechnet werden, unter anderem für

  • F(X) = 1/PX(X),
  • F(X) = PX(X),
  • F(X) = –log2 PX(X).

Hinweis: Die Aufgabe gehört zum Themengebiet von Kapitel 3.1 dieses Buches. Weiter gilt, ohne dass dies für die Lösung dieser Aufgabe von Interesse ist:

  • Die beiden „eindimensionalen” Wahrscheinlichkeitsfunktionen PX(X) und PY(Y) ergeben sich aus der dargestellten 2D–PMF PXY(X, Y), wie in Aufgabe Z3.2 gezeigt werden soll.
  • Zu den binären Wahrscheinlichkeitsfunktionen PU(U) und PV(V) kommt man entsprechend den Modulo–Operationen U = X mod 2 sowie V = Y mod 2 (siehe ebenfalls Aufgabe Z3.2)


Fragebogen

1

Welche Ergebnisse liefern die folgenden Erwartungswerte?

$E[1/P_X(X)]$ =

$E[1/P_Y(Y)]$ =

2

Geben Sie die folgenden Erwartungswerte an:

$E[P_X(X)]$ =

$E[P_Y(Y)]$ =

3

Berechnen Sie nun die folgenden Erwartungswerte:

$E[P_Y(X)]$ =

$E[P_X(Y)]$ =

4

Welche der folgenden Aussagen sind zutreffend?

E[–log2 PU(U)] ergibt die Entropie der Zufallsgröße U.
E[–log2 PV(V)] ergibt die Entropie der Zufallsgröße V.
E[–log2 PV(U)] ergibt die Entropie der Zufallsgröße V.


Musterlösung

1.  Allgemein gilt für den Erwartungswert der Funktion F(X) hinsichtlich der Zufallsvariablen X:

$${\rm E} \left [ F(X)\right ] = \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} {\rm supp} (P_X)} \hspace{0.01cm} P_{X}(x) \cdot F(x) \hspace{0.05cm}.$$

Im vorliegenden Beispiel gilt X = {0, 1, 2, 3} und PX(X) = [1/2, 1/8, 0, 3/8]. Wegen PX(X = 2) = 0 ergibt sich somit für die zu berücksichtigende Menge („Support”) in obiger Summation:

$${\rm supp} (P_X) = \{ 0\hspace{0.05cm}, 1\hspace{0.05cm}, 3 \} \hspace{0.05cm}.$$

Mit F(X) = 1/PX(X) erhält man weiter:

$${\rm E} \left [ 1/P_X(X)\right ] = \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 3 \}} \hspace{0.01cm} P_{X}(x) \cdot {1}/{P_X(x)} = \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 3 \}} \hspace{-0.3cm} 1 \hspace{0.15cm}\underline{ = 3} \hspace{0.05cm}.$$

Der zweite Erwartungswert liefert mit supp(PY) = {0, 1, 2} das gleiche Ergebnis: E[1/PY(Y)] = 3.

2.  In beiden Fällen ist der Index der Wahrscheinlichkeitsfunktion mit der Zufallsvariablen (X bzw. Y) identisch und man erhält

$${\rm E} \left [ P_X(X)\right ] = \hspace{0.3cm} \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 3 \}} \hspace{0.3cm} P_{X}(x) \cdot {P_X(x)} = (1/2)^2 + (1/8)^2 + (3/8)^2 = 13/32 \hspace{0.15cm}\underline{ \approx 0.406} \hspace{0.05cm},$$
$${\rm E} \left [ P_Y(Y)\right ] = \hspace{0.3cm} \sum_{y \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 2 \}} \hspace{0.3cm} P_Y(y) \cdot P_Y(y) = (1/2)^2 + (1/4)^2 + (1/4)^2 \hspace{0.15cm}\underline{ = 0.375} \hspace{0.05cm}.$$

3.  Hier gelten folgende Gleichungen:

$${\rm E} \left [ P_Y(X)\right ] = \hspace{0.3cm} \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 3 \}} \hspace{0.3cm} P_{X}(x) \cdot {P_Y(x)} = \frac{1}{2} \cdot \frac{1}{2} + \frac{1}{8} \cdot \frac{1}{4} + \frac{3}{8} \cdot 0 = 9/32 \hspace{0.15cm}\underline{ \approx 0.281} \hspace{0.05cm},$$

Die Erwartungswertbildung bezieht sich hier auf PX(·), also auf die Zufallsgröße X. PY(·) ist dabei die formale Funktion ohne (direkten) Bezug zur Zufallsgröße Y.

Für den zweiten Erwartungswert erhält man den gleichen Zahlenwert (das muss nicht so sein):

$${\rm E} \left [ P_X(Y)\right ] = \hspace{0.3cm} \sum_{y \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 2 \}} \hspace{0.3cm} P_{Y}(y) \cdot {P_X(y)} = \frac{1}{2} \cdot \frac{1}{2} + \frac{1}{4} \cdot \frac{1}{8} + \frac{1}{4} \cdot 0 = 9/32 \hspace{0.15cm}\underline{ \approx 0.281} \hspace{0.05cm}.$$

4.  Wir berechnen zunächst die drei Erwartungswerte:

$${\rm E} \left [-{\rm log}_2 \hspace{0.1cm} P_U(U)\right ] = \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} \frac{2}{1} + \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} \frac{2}{1} \hspace{0.15cm}\underline{ = 1\,{\rm bit}} \hspace{0.05cm},$$
$${\rm E} \left [-{\rm log}_2 \hspace{0.1cm} P_V(V)\right ] = \frac{3}{4} \cdot {\rm log}_2 \hspace{0.1cm} \frac{4}{3} + \frac{1}{4} \cdot {\rm log}_2 \hspace{0.1cm} \frac{4}{1} \hspace{0.15cm}\underline{ = 0.811\,{\rm bit}} \hspace{0.05cm},$$
$${\rm E} \left [-{\rm log}_2 \hspace{0.1cm} P_V(U)\right ] = \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} \frac{4}{3} + \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} \frac{4}{1} \hspace{0.15cm}\underline{ = 1.208\,{\rm bit}} \hspace{0.05cm}.$$

Richtig sind demnach die beiden ersten Aussagen:

  • Die Entropie H(U) = 1 bit kann entsprechend der ersten Gleichung berechnet werden. Sie gilt für die binäre Zufallsgröße U mit gleichen Wahrscheinlichkeiten.
  • Die Entropie H(V) = 0.811 bit berechnet sich entsprechend der zweiten Gleichung. Aufgrund der Wahrscheinlichkeiten 3/4 und 1/4 ist die Entropie (Unsicherheit) kleiner als für die Zufallsgröße U.
  • Der dritte Erwartungswert kann schon allein vom Ergebnis her (1.208 bit) nicht die Entropie einer binären Zufallsgröße angeben, die stets auf 1 bit begrenzt ist.