Aufgaben:Aufgabe 3.3: Entropie von Ternärgrößen - Versionsgeschichte

Guenter am 17. August 2021 um 10:46 Uhr

2021-08-17T10:46:16Z

Guenter am 17. August 2021 um 10:40 Uhr

2021-08-17T10:40:42Z

Guenter am 17. August 2021 um 10:34 Uhr

2021-08-17T10:34:21Z

Guenter am 30. Januar 2020 um 14:46 Uhr

2020-01-30T14:46:41Z

Guenter am 30. Januar 2020 um 14:36 Uhr

2020-01-30T14:36:53Z

Guenter am 30. Januar 2020 um 14:03 Uhr

2020-01-30T14:03:30Z

Guenter am 8. Oktober 2018 um 14:09 Uhr

2018-10-08T14:09:41Z

Guenter am 8. Oktober 2018 um 13:44 Uhr

2018-10-08T13:44:51Z

Guenter am 8. Oktober 2018 um 13:43 Uhr

2018-10-08T13:43:19Z

Mwiki-lnt: Textersetzung - „*Sollte die Eingabe des Zahlenwertes „0” erforderlich sein, so geben Sie bitte „0.” ein.“ durch „ “

2018-05-29T12:02:50Z

Textersetzung - „*Sollte die Eingabe des Zahlenwertes „0” erforderlich sein, so geben Sie bitte „0.” ein.“ durch „ “

@@ Zeile 78: / Zeile 78: @@
 {{ML-Kopf}}
 '''(1)'''&nbsp; <u>Beide Aussagen sind richtig:</u>
-*Setzt man &nbsp;$p_3 = 0$ und formal &nbsp;$p_1 = p$ &nbsp; &#8658; &nbsp; &nbsp;$p_2 = 1- p$, so ergibt sich die binäre Entropiefunktion
+*Setzt man &nbsp;$p_3 = 0$ und formal &nbsp;$p_1 = p$ &nbsp; &#8658; &nbsp; &nbsp;$p_2 = 1- p$,&nbsp; so ergibt sich die binäre Entropiefunktion
 :$$H_{\rm bin}(p) =  p \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{p} +
   (1-p) \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{1-p} \hspace{0.05cm}.$$
@@ Zeile 91: / Zeile 91: @@
    {\rm ln}(1-p) - (1-p) \cdot \frac{1}{1-p} \big ] =
 \frac{1}{{\rm ln}(2)} \cdot \big [ {\rm ln}(1-p) - {\rm ln}(p)   \big ] = {\rm log}_2 \hspace{0.1cm} \frac{1-p}{p} \hspace{0.05cm}.$$
-*Durch Nullsetzen dieser Ableitung erhält man den Abszissenwert&nbsp; $p = 0.5$, der zum Maximum der Entropiefunktion führt: &nbsp; $H_{\rm bin}(p =0.5) = 1$ bit <br>&#8658; &nbsp; der Lösungsvorschlag 2 ist falsch.
+*Durch Nullsetzen dieser Ableitung erhält man den Abszissenwert&nbsp; $p = 0.5$, der zum Maximum der Entropiefunktion führt: &nbsp; <br>$H_{\rm bin}(p =0.5) = 1$ bit &#8658; &nbsp; der Lösungsvorschlag 2 ist falsch.
 *Durch nochmaliges Differenzieren erhält man für die zweite Ableitung:
 :$$\frac {{\rm d}^2H_{\rm bin}(p)}{{\rm d}p^2} = \frac{1}{{\rm ln}(2)} \cdot \left

@@ Zeile 23: / Zeile 23: @@
 [[Datei:P_ID2755__Inf_A_3_3_B_neu.png|right|frame|Obere Abschätzung fürnbsp; $\ln(x)$]]
-:*  Durch Erweiterung obiger Gleichung um&nbsp; $|X|$&nbsp; in Zähler und Nenner erhält man unter Verwendung von&nbsp; $\log_2 \hspace{0.05cm}x= \ln(x)/\ln(2)$:
+:*  Durch Erweiterung obiger Gleichung um&nbsp; $|X|$&nbsp; in Zähler und Nenner erhält man mit&nbsp; $\log_2 \hspace{0.05cm}x= \ln(x)/\ln(2)$:
 ::$$H(X) = \frac{1}{{\rm ln}(2)}\cdot {\rm E} \left [{\rm ln} \hspace{0.1cm} \frac{1}{|X| \cdot P_X(X)} \right ] + {\rm log}_2 \hspace{0.1cm}|X| \hspace{0.05cm}.$$
 :* Wie aus nebenstehender Grafik hervorgeht, gilt die Abschätzung&nbsp; $\ln(x) \le x-1$&nbsp; mit der Identität für&nbsp; $x=1$.&nbsp; Somit kann geschrieben werden:
@@ Zeile 33: / Zeile 33: @@
+<u>Hinweise:</u>
 *Die Aufgabe gehört zum  Kapitel&nbsp; [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen|Einige Vorbemerkungen zu den 2D-Zufallsgrößen]].
-*Insbesondere wird Bezug genommen auf die Seite&nbsp; [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Wahrscheinlichkeitsfunktion_und_Entropie|Wahrscheinlichkeitsfunktion undEntropie]].
+*Insbesondere wird Bezug genommen auf die Seite&nbsp; [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Wahrscheinlichkeitsfunktion_und_Entropie|Wahrscheinlichkeitsfunktion und Entropie]].
 *Ausgegangen wird hier von der gleichen Konstellation wie in der&nbsp; [[Aufgaben:Aufgabe_3.2:_Erwartungswertberechnungen|Aufgabe 3.2]].
@@ Zeile 50: / Zeile 48: @@
 {Welche Aussagen gelten für die rote Entropiefunktion&nbsp; $H_{\rm R}(p)$?
 |type="[]"}
-+ $H_{\rm R}(p)$&nbsp; ergibt sich zum Beispiel mit &nbsp;$p_1 = p$, &nbsp;$p_2 = 1- p$  &nbsp;und&nbsp; $p_3 = 0$.
++ $H_{\rm R}(p)$&nbsp; ergibt sich zum Beispiel mit &nbsp;$p_1 = p$, &nbsp;$p_2 = 1- p$  &nbsp; und &nbsp; $p_3 = 0$.
 + $H_{\rm R}(p)$&nbsp; ist identisch mit der binären Entropiefunktion&nbsp; $H_{\rm bin}(p)$.
@@ Zeile 62: / Zeile 60: @@
 {Welche Aussagen gelten für die blaue Entropiefunktion&nbsp; $H_{\rm B}(p)$?
 |type="[]"}
-+ $H_{\rm B}(p)$&nbsp; ergibt sich beispielsweise  mit &nbsp;$p_1 = p$, &nbsp;$p_2 = 1/2- p$  &nbsp;und&nbsp; $p_3 = 1/2$.
++ $H_{\rm B}(p)$&nbsp; ergibt sich beispielsweise  mit &nbsp;$p_1 = p$, &nbsp;$p_2 = 1/2- p$  &nbsp; und &nbsp; $p_3 = 1/2$.
 + Es gilt&nbsp; $H_{\rm B}(p = 0)= 1$&nbsp; bit.
 - Es gilt&nbsp; $\text {Max } [H_{\rm B}(p)] =  \log_2 \hspace{0.1cm} (3)$&nbsp; bit.
@@ Zeile 69: / Zeile 67: @@
 {Welche Aussagen gelten für die grüne Entropiefunktion&nbsp; $H_{\rm G}(p)$?
 |type="[]"}
-+ $H_{\rm G}(p)$&nbsp; ergibt sich beispielsweise  mit &nbsp;$p_1 = p$, &nbsp;$p_2 = 2/3- p$  &nbsp;und&nbsp; $p_3 = 1/3$.
++ $H_{\rm G}(p)$&nbsp; ergibt sich beispielsweise  mit &nbsp;$p_1 = p$, &nbsp;$p_2 = 2/3- p$  &nbsp; und &nbsp; $p_3 = 1/3$.
 - Es gilt&nbsp; $H_{\rm G}(p = 0)= 1$&nbsp; bit.
 + Es gilt&nbsp; $\text {Max } [H_{\rm G}(p)] =  \log_2 \hspace{0.1cm} (3)$ bit.

@@ Zeile 4: / Zeile 4: @@
 [[Datei:P_ID2754__Inf_A_3_3.png|right|frame|Vorgegebene Entropiefunktionen]]
-Rechts sehen Sie die Entropiefunktionen&nbsp; $H_{\rm R}(p)$,&nbsp; $H_{\rm B}(p)$&nbsp; und&nbsp; $H_{\rm G}(p)$, wobei&nbsp; $\rm R$&nbsp; für &bdquo;Rot&rdquo; steht,&nbsp; $\rm B$&nbsp; für &bdquo;Blau&rdquo; und&nbsp; $\rm G$&nbsp; für &bdquo;Grün&rdquo;.&nbsp; Die Wahrscheinlichkeitsfunktionen lauten für alle Zufallsgrößen:
+Rechts sehen Sie die Funktionen&nbsp; $H_{\rm R}(p)$,&nbsp; $H_{\rm B}(p)$&nbsp; und&nbsp; $H_{\rm G}(p)$, wobei&nbsp; $\rm R$&nbsp; für &bdquo;Rot&rdquo; steht,&nbsp; $\rm B$&nbsp; für &bdquo;Blau&rdquo; und&nbsp; $\rm G$&nbsp; für &bdquo;Grün&rdquo;.&nbsp;
 :$$P_X(X) = [\hspace{0.05cm}p_1\hspace{0.05cm},\ p_2\hspace{0.05cm},\ p_3\hspace{0.05cm}]\hspace{0.3cm}\hspace{0.3cm} \Rightarrow \hspace{0.3cm} |X| = 3\hspace{0.05cm}.$$
 Für den Fragebogen gilt der Zusammenhang&nbsp; $p_1 = p$&nbsp; und&nbsp; $p_2 = 1 - p_3- p$.
@@ Zeile 11: / Zeile 13: @@
 :$$X = \big \{\hspace{0.05cm}x_1\hspace{0.05cm}, \hspace{0.15cm} x_2\hspace{0.05cm},\hspace{0.15cm} \text{...}\hspace{0.1cm} ,\hspace{0.15cm} x_{\mu}\hspace{0.05cm}, \hspace{0.05cm}\text{...}\hspace{0.1cm} , \hspace{0.15cm} x_{M}\hspace{0.05cm}\big  \}$$
 mit dem Symbolumfang&nbsp; $|X| = M$&nbsp; lautet allgemein:
-:$$P_X(X) = [\hspace{0.05cm}p_1\hspace{0.05cm}, \hspace{0.15cm} p_2\hspace{0.05cm},\hspace{0.05cm} ...\hspace{0.1cm} ,\hspace{0.15cm} p_{\mu}\hspace{0.05cm}, \hspace{0.05cm}...\hspace{0.1cm} , \hspace{0.15cm} p_{M}\hspace{0.05cm}]\hspace{0.05cm}.$$
+:$$P_X(X) = \big [\hspace{0.05cm}p_1\hspace{0.05cm}, \hspace{0.15cm} p_2\hspace{0.05cm},\hspace{0.05cm} ...\hspace{0.1cm} ,\hspace{0.15cm} p_{\mu}\hspace{0.05cm}, \hspace{0.05cm}...\hspace{0.1cm} , \hspace{0.15cm} p_{M}\hspace{0.05cm}\big ]\hspace{0.05cm}.$$
 Die Entropie (Unsicherheit) dieser Zufallsgröße berechnet sich entsprechend der Gleichung
 :$$H(X) = {\rm E} \big [\log_2 \hspace{0.05cm} {1}/{P_X(X)} \big ]\hspace{0.05cm},$$
@@ Zeile 19: / Zeile 21: @@
 *Die obere Schranke soll hier wie in der Vorlesung &bdquo;Information Theory&rdquo; von&nbsp; [[Biografien_und_Bibliografien/Lehrstuhlinhaber_des_LNT#Prof._Dr._sc._techn._Gerhard_Kramer_.28seit_2010.29|Gerhard Kramer]]&nbsp; an der TU München hergeleitet werden:
-[[Datei:P_ID2755__Inf_A_3_3_B_neu.png|right|frame|Obere Abschätzung für den natürlichen Logarithmus]]
+[[Datei:P_ID2755__Inf_A_3_3_B_neu.png|right|frame|Obere Abschätzung fürnbsp; $\ln(x)$]]
 :* Durch Erweiterung obiger Gleichung um&nbsp; $|X|$&nbsp; in Zähler und Nenner erhält man unter Verwendung von&nbsp; $\log_2 \hspace{0.05cm}x= \ln(x)/\ln(2)$:
 ::$$H(X) = \frac{1}{{\rm ln}(2)}\cdot {\rm E} \left [{\rm ln} \hspace{0.1cm} \frac{1}{|X| \cdot P_X(X)} \right ] + {\rm log}_2 \hspace{0.1cm}|X| \hspace{0.05cm}.$$
 :* Wie aus nebenstehender Grafik hervorgeht, gilt die Abschätzung&nbsp; $\ln(x) \le x-1$&nbsp; mit der Identität für&nbsp; $x=1$.&nbsp; Somit kann geschrieben werden:

@@ Zeile 83: / Zeile 83: @@
 '''(2)'''&nbsp; Richtig ist allein der <u>Lösungsvorschlag 1</u>:
-*Man kann die binäre Entropiefunktion wegen $\log(x) = \ln(x)/\ln(2)$ auch in die folgende Form bringen:
+*Man kann die binäre Entropiefunktion wegen&nbsp; $\log(x) = \ln(x)/\ln(2)$&nbsp; auch in die folgende Form bringen:
 :$$H_{\rm bin}(p) = \frac{-1}{{\rm ln}(2)} \cdot \big [  p \cdot {\rm ln}(p)  +
   (1-p) \cdot {\rm ln}(1-p) \big ] \hspace{0.05cm}.$$
@@ Zeile 90: / Zeile 90: @@
    {\rm ln}(1-p) - (1-p) \cdot \frac{1}{1-p} \big ] =
 \frac{1}{{\rm ln}(2)} \cdot \big [ {\rm ln}(1-p) - {\rm ln}(p)   \big ] = {\rm log}_2 \hspace{0.1cm} \frac{1-p}{p} \hspace{0.05cm}.$$
-*Durch Nullsetzen dieser Ableitung erhält man den Abszissenwert $p = 0.5$, der zum Maximum der Entropiefunktion führt: &nbsp; $H_{\rm bin}(p =0.5) = 1$ bit <br>&#8658; &nbsp; der Lösungsvorschlag 2 ist falsch.
+*Durch Nullsetzen dieser Ableitung erhält man den Abszissenwert&nbsp; $p = 0.5$, der zum Maximum der Entropiefunktion führt: &nbsp; $H_{\rm bin}(p =0.5) = 1$ bit <br>&#8658; &nbsp; der Lösungsvorschlag 2 ist falsch.
 *Durch nochmaliges Differenzieren erhält man für die zweite Ableitung:
 :$$\frac {{\rm d}^2H_{\rm bin}(p)}{{\rm d}p^2} = \frac{1}{{\rm ln}(2)} \cdot \left
   [  \frac{-1}{1-p}  - \frac{1}{p}    \right ] =
 \frac{-1}{{\rm ln}(2) \cdot p \cdot (1-p)}  \hspace{0.05cm}.$$
-*Diese Funktion ist im gesamten Definitionsgebiet $0 &#8804; <i>p</i> &#8804; 1$ negativ &nbsp; &#8658; &nbsp; $H_{\rm bin}(p)$ ist konkav &nbsp; &#8658; &nbsp; der Lösungsvorschlag 1 ist richtig.
+*Diese Funktion ist im gesamten Definitionsgebiet&nbsp; $0 &#8804; p &#8804; 1$&nbsp; negativ &nbsp; &#8658; &nbsp; $H_{\rm bin}(p)$ ist konkav &nbsp; &#8658; &nbsp; der Lösungsvorschlag 1 ist richtig.
 [[Datei:P_ID2756__Inf_A_3_3_ML.png|right|frame|Drei Entropiefunktionen mit $M = 3$]]
 '''(3)'''&nbsp; Richtig sind hier die <u>Aussagen 1 und 2</u>:
-* Für $p = 0$ erhält man die Wahrscheinlichkeitsfunktion $P_X(X) = \big  [\hspace{0.05cm}0\hspace{0.05cm}, \hspace{0.05cm} 1/2\hspace{0.05cm},\hspace{0.05cm} 1/2 \hspace{0.05cm} \big ]$ &nbsp; &#8658; &nbsp; $H(X) = 1$ bit.
+* Für&nbsp; $p = 0$&nbsp; erhält man die Wahrscheinlichkeitsfunktion&nbsp; $P_X(X) = \big  [\hspace{0.05cm}0\hspace{0.05cm}, \hspace{0.15cm} 1/2\hspace{0.05cm},\hspace{0.15cm} 1/2 \hspace{0.05cm} \big ]$ &nbsp; &#8658; &nbsp; $H(X) = 1$&nbsp; bit.
-* Das Maximum unter der Voraussetzung $p_3 = 1/2$ ergibt sich für $p_1 = p_2 = 1/4$:
+* Das Maximum unter der Voraussetzung&nbsp; $p_3 = 1/2$&nbsp; ergibt sich für&nbsp; $p_1 = p_2 = 1/4$:
 :$$P_X(X) = \big  [\hspace{0.05cm}1/4\hspace{0.05cm}, \hspace{0.05cm} 1/4\hspace{0.05cm},\hspace{0.05cm} 1/2 \hspace{0.05cm} \big ]
 \hspace{0.3cm} \Rightarrow \hspace{0.3cm}
 {\rm Max} \ [H_{\rm B}(p)] = 1.5 \ \rm bit
 \hspace{0.05cm}.$$
-*In kompakter Form lässt sich $H_{\rm B}(p)$ mit der Einschränkung $0 &#8804; p &#8804; 1/2$ wie folgt darstellen:
+*In kompakter Form lässt sich&nbsp; $H_{\rm B}(p)$&nbsp; mit der Einschränkung&nbsp; $0 &#8804; p &#8804; 1/2$&nbsp; wie folgt darstellen:
 :$$H_{\rm B}(p) = 1.0\,{\rm bit} + {1}/{2} \cdot H_{\rm bin}(2p)
 \hspace{0.05cm}.$$
@@ Zeile 112: / Zeile 113: @@
 '''(4)'''&nbsp; Richtig sind hier die <u> erste und letzte Aussage</u>:
-* Der grüne Kurvenzug beinhaltet mit $p = 1/3$ auch die Gleichverteilung aller Wahrscheinlichkeiten &nbsp; &#8658; &nbsp;  $ {\rm Max} \ [H_{\rm G}(p)] = \log_2 (3)$ bit.
+* Der grüne Kurvenzug beinhaltet mit&nbsp; $p = 1/3$&nbsp; auch die Gleichverteilung aller Wahrscheinlichkeiten
-*Allgemein lässt sich der gesamte Kurvenverlauf im Bereich $0 &#8804; p &#8804; 2/3$ wie folgt ausdrücken:
+:$$ {\rm Max} \ [H_{\rm G}(p)] = \log_2 (3)\ \text{bit}.$$
 :$$H_{\rm G}(p) = H_{\rm G}(p= 0) + {2}/{3} \cdot H_{\rm bin}(3p/2)
 \hspace{0.05cm}.$$
@@ Zeile 121: / Zeile 123: @@
 H_{\rm G}(p= 0) = 1.585 - 0.667 = 0.918 \,{\rm bit}
 \hspace{0.05cm}.$$
-*Der zweite Lösungsvorschlag 2 ist somit falsch. Zum gleichen Ergebnis gelangt man über die Gleichung
+*Der zweite Lösungsvorschlag ist somit falsch.&nbsp; Zum gleichen Ergebnis gelangt man über die Gleichung
 :$$H_{\rm G}(p = 0) = {1}/{3} \cdot  {\rm log}_2 \hspace{0.01cm} (3)
 +{2}/{3} \cdot  {\rm log}_2 \hspace{0.01cm} (3/2) = {\rm log}_2 \hspace{0.01cm} (3) -2/3 \cdot

@@ Zeile 6: / Zeile 6: @@
 Rechts sehen Sie die Entropiefunktionen&nbsp; $H_{\rm R}(p)$,&nbsp; $H_{\rm B}(p)$&nbsp; und&nbsp; $H_{\rm G}(p)$, wobei&nbsp; $\rm R$&nbsp; für &bdquo;Rot&rdquo; steht,&nbsp; $\rm B$&nbsp; für &bdquo;Blau&rdquo; und&nbsp; $\rm G$&nbsp; für &bdquo;Grün&rdquo;.&nbsp; Die Wahrscheinlichkeitsfunktionen lauten für alle Zufallsgrößen:
 :$$P_X(X) = [\hspace{0.05cm}p_1\hspace{0.05cm},\ p_2\hspace{0.05cm},\ p_3\hspace{0.05cm}]\hspace{0.3cm}\hspace{0.3cm} \Rightarrow \hspace{0.3cm} |X| = 3\hspace{0.05cm}.$$
-Für die Grafik gilt der Zusammenhang&nbsp; $p_1 = p$&nbsp; und&nbsp; $p_2 = 1 - p_3- p$.
+Für den Fragebogen gilt der Zusammenhang&nbsp; $p_1 = p$&nbsp; und&nbsp; $p_2 = 1 - p_3- p$.
 Die Wahrscheinlichkeitsfunktion einer Zufallsgröße
@@ Zeile 16: / Zeile 16: @@
 und liegt stets im Bereich&nbsp; $0 \le H(X)  \le  \log_2 \hspace{0.05cm}  |X|$.
-*Die untere Schranke&nbsp; $H(X) = 0$&nbsp; ergibt sich, wenn eine beliebige Wahrscheinlichkeit $p_\mu = 1$ ist und alle anderen Null sind. Die obere Schranke soll hier wie in der Vorlesung &bdquo;Information Theory&rdquo; von [[Biografien_und_Bibliografien/Lehrstuhlinhaber_des_LNT#Prof._Dr._sc._techn._Gerhard_Kramer_.28seit_2010.29|Gerhard Kramer]] an der TU München hergeleitet werden:
+*Die obere Schranke soll hier wie in der Vorlesung &bdquo;Information Theory&rdquo; von&nbsp; [[Biografien_und_Bibliografien/Lehrstuhlinhaber_des_LNT#Prof._Dr._sc._techn._Gerhard_Kramer_.28seit_2010.29|Gerhard Kramer]]&nbsp; an der TU München hergeleitet werden:
 [[Datei:P_ID2755__Inf_A_3_3_B_neu.png|right|frame|Obere Abschätzung für den natürlichen Logarithmus]]
-* Durch Erweiterung obiger Gleichung um $|X|$ in Zähler und Nenner erhält man unter Verwendung von $\log_2 \hspace{0.05cm}x= \ln(x)/\ln(2)$:
+:* Durch Erweiterung obiger Gleichung um&nbsp; $|X|$&nbsp; in Zähler und Nenner erhält man unter Verwendung von&nbsp; $\log_2 \hspace{0.05cm}x= \ln(x)/\ln(2)$:
-:$$H(X) = \frac{1}{{\rm ln}(2)}\cdot {\rm E} \left [{\rm ln} \hspace{0.1cm} \frac{1}{|X| \cdot P_X(X)} \right ] + {\rm log}_2 \hspace{0.1cm}|X| \hspace{0.05cm}.$$
+::$$H(X) = \frac{1}{{\rm ln}(2)}\cdot {\rm E} \left [{\rm ln} \hspace{0.1cm} \frac{1}{|X| \cdot P_X(X)} \right ] + {\rm log}_2 \hspace{0.1cm}|X| \hspace{0.05cm}.$$
-* Wie aus nebenstehender Grafik hervorgeht, gilt die Abschätzung $\ln(x) \le x-1$ mit der Identität für $x=1$. Somit kann geschrieben werden:
+:* Wie aus nebenstehender Grafik hervorgeht, gilt die Abschätzung&nbsp; $\ln(x) \le x-1$&nbsp; mit der Identität für&nbsp; $x=1$.&nbsp; Somit kann geschrieben werden:
-:$$H(X) \le \frac{1}{{\rm ln}(2)}\cdot {\rm E} \left [\frac{1}{|X| \cdot P_X(X)} -1 \right ] + {\rm log}_2 \hspace{0.1cm}|X| \hspace{0.05cm}.$$
+::$$H(X) \le \frac{1}{{\rm ln}(2)}\cdot {\rm E} \left [\frac{1}{|X| \cdot P_X(X)} -1 \right ] + {\rm log}_2 \hspace{0.1cm}|X| \hspace{0.05cm}.$$
-* In [[Aufgaben:3.2_Erwartungswertberechnungen|Aufgabe 3.2]] wurde für den Fall $p_\mu \ne 0$ für alle $\mu$ der Erwartungswert ${\rm E} \big [\log_2 \hspace{0.05cm} {1}/{P_X(X)} \big ] =|X|$ berechnet. Damit verschwindet der erste Term und man erhält das bekannte Ergebnis:
+:* In der&nbsp; [[Aufgaben:3.2_Erwartungswertberechnungen|Aufgabe 3.2]]&nbsp; wurde für den Fall&nbsp; $p_\mu \ne 0$&nbsp; für alle&nbsp; $\mu$&nbsp; der Erwartungswert&nbsp; ${\rm E} \big [\log_2 \hspace{0.05cm} {1}/{P_X(X)} \big ] =|X|$&nbsp; berechnet.&nbsp; Damit verschwindet der erste Term und man erhält das bekannte Ergebnis:
-:$$H(X) \le {\rm log}_2 \hspace{0.1cm}|X| \hspace{0.05cm}.$$
+::$$H(X) \le {\rm log}_2 \hspace{0.1cm}|X| \hspace{0.05cm}.$$
@@ Zeile 32: / Zeile 33: @@
 ''Hinweise:''
-*Die Aufgabe gehört zum  Kapitel [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen|Einige Vorbemerkungen zu den 2D-Zufallsgrößen]].
+*Die Aufgabe gehört zum  Kapitel&nbsp; [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen|Einige Vorbemerkungen zu den 2D-Zufallsgrößen]].
-*Insbesondere wird Bezug genommen auf die Seite [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Wahrscheinlichkeitsfunktion_und_Entropie|Wahrscheinlichkeitsfunktion undEntropie]].
+*Insbesondere wird Bezug genommen auf die Seite&nbsp; [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Wahrscheinlichkeitsfunktion_und_Entropie|Wahrscheinlichkeitsfunktion undEntropie]].
-*Ausgegangen wird hier von der gleichen Konstellation wie in [[Aufgaben:Aufgabe_3.2:_Erwartungswertberechnungen|Aufgabe 3.2]].
+*Ausgegangen wird hier von der gleichen Konstellation wie in der&nbsp; [[Aufgaben:Aufgabe_3.2:_Erwartungswertberechnungen|Aufgabe 3.2]].
 *Die Gleichung der binären Entropiefunktion lautet:
@@ Zeile 44: / Zeile 45: @@
 <quiz display=simple>
-{Welche Aussagen gelten für die rote Entropiefunktion $H_{\rm R}(p)$?
+{Welche Aussagen gelten für die rote Entropiefunktion&nbsp; $H_{\rm R}(p)$?
 |type="[]"}
-+ $H_{\rm R}(p)$ ergibt sich zum Beispiel mit &nbsp;$p_1 = p$, &nbsp;$p_2 = 1- p$  &nbsp;und&nbsp; $p_3 = 0$.
++ $H_{\rm R}(p)$&nbsp; ergibt sich zum Beispiel mit &nbsp;$p_1 = p$, &nbsp;$p_2 = 1- p$  &nbsp;und&nbsp; $p_3 = 0$.
-+ $H_{\rm R}(p)$ ist identisch mit der binären Entropiefunktion $H_{\rm bin}(p)$.
++ $H_{\rm R}(p)$&nbsp; ist identisch mit der binären Entropiefunktion&nbsp; $H_{\rm bin}(p)$.
-{Welche Eigenschaften weist die binäre Entropiefunktion $H_{\rm bin}(p)$auf?
+{Welche Eigenschaften weist die binäre Entropiefunktion&nbsp; $H_{\rm bin}(p)$&nbsp; auf?
 |type="[]"}
-+ $H_{\rm bin}(p)$ ist konkav hinsichtlich des Parameters $p$.
++ $H_{\rm bin}(p)$&nbsp; ist konkav hinsichtlich des Parameters&nbsp; $p$.
-- Es gilt $\text {Max }  [H_{\rm bin}(p)] = 2$ bit.
+- Es gilt&nbsp; $\text {Max }  [H_{\rm bin}(p)] = 2$&nbsp; bit.
-{Welche Aussagen gelten für die blaue Entropiefunktion $H_{\rm B}(p)$?
+{Welche Aussagen gelten für die blaue Entropiefunktion&nbsp; $H_{\rm B}(p)$?
 |type="[]"}
-+ $H_{\rm B}(p)$ ergibt sich beispielsweise  mit &nbsp;$p_1 = p$, &nbsp;$p_2 = 1/2- p$  &nbsp;und&nbsp; $p_3 = 1/2$.
++ $H_{\rm B}(p)$&nbsp; ergibt sich beispielsweise  mit &nbsp;$p_1 = p$, &nbsp;$p_2 = 1/2- p$  &nbsp;und&nbsp; $p_3 = 1/2$.
-+ Es gilt $H_{\rm B}(p = 0)= 1$ bit.
++ Es gilt&nbsp; $H_{\rm B}(p = 0)= 1$&nbsp; bit.
-- Es gilt Es gilt $\text {Max } [H_{\rm B}(p)] =  \log_2 \hspace{0.1cm} (3)$ bit.
+- Es gilt&nbsp; $\text {Max } [H_{\rm B}(p)] =  \log_2 \hspace{0.1cm} (3)$&nbsp; bit.
-{Welche Aussagen gelten für die grüne Entropiefunktion $H_{\rm G}(p)$?
+{Welche Aussagen gelten für die grüne Entropiefunktion&nbsp; $H_{\rm G}(p)$?
 |type="[]"}
-+ $H_{\rm G}(p)$ ergibt sich beispielsweise  mit &nbsp;$p_1 = p$, &nbsp;$p_2 = 2/3- p$  &nbsp;und&nbsp; $p_3 = 1/3$.
++ $H_{\rm G}(p)$&nbsp; ergibt sich beispielsweise  mit &nbsp;$p_1 = p$, &nbsp;$p_2 = 2/3- p$  &nbsp;und&nbsp; $p_3 = 1/3$.
-- Es gilt $H_{\rm G}(p = 0)= 1$ bit.
+- Es gilt&nbsp; $H_{\rm G}(p = 0)= 1$&nbsp; bit.
-+ Es gilt $\text {Max } [H_{\rm G}(p)] =  \log_2 \hspace{0.1cm} (3)$ bit.
++ Es gilt&nbsp; $\text {Max } [H_{\rm G}(p)] =  \log_2 \hspace{0.1cm} (3)$ bit.

@@ Zeile 3: / Zeile 3: @@
 }}
-[[Datei:P_ID2754__Inf_A_3_3.png|right|Vorgegebene Entropiefunktionen]]
+[[Datei:P_ID2754__Inf_A_3_3.png|right|frame|Vorgegebene Entropiefunktionen]]
-Rechts sehen Sie die Entropiefunktionen $H_{\rm R}(p)$, $H_{\rm B}(p)$ und $H_{\rm G}(p)$, wobei &bdquo;R&rdquo; für &bdquo;Rot&rdquo; steht, &bdquo;B&rdquo; für &bdquo;Blau&rdquo; und &bdquo;G&rdquo; für &bdquo;Grün&rdquo; . Die Wahrscheinlichkeitsfunktionen lauten für alle Zufallsgrößen:
+Rechts sehen Sie die Entropiefunktionen $H_{\rm R}(p)$, $H_{\rm B}(p)$ und $H_{\rm G}(p)$, wobei $\rm R$ für &bdquo;Rot&rdquo; steht, $\rm B$ für &bdquo;Blau&rdquo; und $\rm G$ für &bdquo;Grün&rdquo;. Die Wahrscheinlichkeitsfunktionen lauten für alle Zufallsgrößen:
 :$$P_X(X) = [\hspace{0.05cm}p_1\hspace{0.05cm}, p_2\hspace{0.05cm}, p_3\hspace{0.05cm}]\hspace{0.3cm}\hspace{0.3cm} \Rightarrow \hspace{0.3cm} |X| = 3\hspace{0.05cm}.$$
 Es gilt der Zusammenhang $p_1 = p$ und $p_2 = 1 - p_3- p$.
 Die Wahrscheinlichkeitsfunktion einer Zufallsgröße
-:$$X = \{\hspace{0.05cm}x_1\hspace{0.05cm}, \hspace{0.05cm} x_2\hspace{0.05cm},\hspace{0.05cm} ...\hspace{0.1cm} ,\hspace{0.05cm} x_{\mu}\hspace{0.05cm}, \hspace{0.05cm}...\hspace{0.1cm} , \hspace{0.05cm} x_{M}\hspace{0.05cm}\}$$
+:$$X = \big \{\hspace{0.05cm}x_1\hspace{0.05cm}, \hspace{0.05cm} x_2\hspace{0.05cm},\hspace{0.05cm} \text{...}\hspace{0.1cm} ,\hspace{0.05cm} x_{\mu}\hspace{0.05cm}, \hspace{0.05cm}\text{...}\hspace{0.1cm} , \hspace{0.05cm} x_{M}\hspace{0.05cm}\big  \}$$
 mit dem Symbolumfang $|X| = M$ lautet allgemein:
 :$$P_X(X) = [\hspace{0.05cm}p_1\hspace{0.05cm}, \hspace{0.05cm} p_2\hspace{0.05cm},\hspace{0.05cm} ...\hspace{0.1cm} ,\hspace{0.05cm} p_{\mu}\hspace{0.05cm}, \hspace{0.05cm}...\hspace{0.1cm} , \hspace{0.05cm} p_{M}\hspace{0.05cm}]\hspace{0.05cm}.$$
 Die Entropie (Unsicherheit) dieser Zufallsgröße berechnet sich entsprechend der Gleichung
-:$$H(X) = {\rm E} \left [\log_2 \hspace{0.05cm} {1}/{P_X(X)} \right ]\hspace{0.05cm},$$
+:$$H(X) = {\rm E} \big [\log_2 \hspace{0.05cm} {1}/{P_X(X)} \big ]\hspace{0.05cm},$$
 und liegt stets im Bereich $0 \le H(X)  \le  \log_2 \hspace{0.05cm}  |X|$.
-Die untere Schranke $H(X) = 0$ ergibt sich, wenn eine beliebige Wahrscheinlichkeit $p_\mu = 1$ ist und alle anderen $0$ sind. Die obere Schranke soll hier wie in der Vorlesung &bdquo;Information Theory&rdquo; von [[Biografien_und_Bibliografien/Lehrstuhlinhaber_des_LNT#Prof._Dr._sc._techn._Gerhard_Kramer_.28seit_2010.29|Gerhard Kramer]] an der TU München hergeleitet werden:
-[[Datei:P_ID2755__Inf_A_3_3_B_neu.png|right|Obere Abschätzung für den natürlichen Logarithmus]]
+Die untere Schranke $H(X) = 0$ ergibt sich, wenn eine beliebige Wahrscheinlichkeit $p_\mu = 1$ ist und alle anderen Null sind. Die obere Schranke soll hier wie in der Vorlesung &bdquo;Information Theory&rdquo; von [[Biografien_und_Bibliografien/Lehrstuhlinhaber_des_LNT#Prof._Dr._sc._techn._Gerhard_Kramer_.28seit_2010.29|Gerhard Kramer]] an der TU München hergeleitet werden:
-* Durch Erweiterung obiger Gleichung um $X|$ in Zähler und Nenner erhält man unter Verwendung von $\log_2 \hspace{0.05cm}x= \ln(x)/ln(2)$:
+[[Datei:P_ID2755__Inf_A_3_3_B_neu.png|right|frame|Obere Abschätzung für den natürlichen Logarithmus]]
 :$$H(X) = \frac{1}{{\rm ln}(2)}\cdot {\rm E} \left [{\rm ln} \hspace{0.1cm} \frac{1}{|X| \cdot P_X(X)} \right ] + {\rm log}_2 \hspace{0.1cm}|X| \hspace{0.05cm}.$$
 * Wie aus nebenstehender Grafik hervorgeht, gilt die Abschätzung $\ln(x) \le x-1$ mit der Identität für $x=1$. Somit kann geschrieben werden:
 :$$H(X) \le \frac{1}{{\rm ln}(2)}\cdot {\rm E} \left [\frac{1}{|X| \cdot P_X(X)} -1 \right ] + {\rm log}_2 \hspace{0.1cm}|X| \hspace{0.05cm}.$$
-* In [[Aufgaben:3.2_Erwartungswertberechnungen|Aufgabe 3.2]] wurde für den Fall$p_\mu \ne 0$ für alle $\mu$ der Erwartungswert ${\rm E} [\log_2 \hspace{0.05cm} {1}/{P_X(X)}] =|X|$ berechnet. Damit verschwindet der erste Term und man erhält das bekannte Ergebnis:
+* In [[Aufgaben:3.2_Erwartungswertberechnungen|Aufgabe 3.2]] wurde für den Fall $p_\mu \ne 0$ für alle $\mu$ der Erwartungswert ${\rm E} \big [\log_2 \hspace{0.05cm} {1}/{P_X(X)} \big ] =|X|$ berechnet. Damit verschwindet der erste Term und man erhält das bekannte Ergebnis:
 :$$H(X) \le {\rm log}_2 \hspace{0.1cm}|X| \hspace{0.05cm}.$$
 ''Hinweise:''
@@ Zeile 40: / Zeile 46: @@
 {Welche Aussagen gelten für die rote Entropiefunktion $H_{\rm R}(p)$?
 |type="[]"}
-+ $H_{\rm R}(p)$ ergibt sich z.B. mit $p_1 = p$, $p_2 = 1- p$  und $p_3 = 0$.
++ $H_{\rm R}(p)$ ergibt sich zum Beispiel mit &nbsp;$p_1 = p$, &nbsp;$p_2 = 1- p$  &nbsp;und&nbsp; $p_3 = 0$.
 + $H_{\rm R}(p)$ ist identisch mit der binären Entropiefunktion $H_{\rm bin}(p)$.
@@ Zeile 47: / Zeile 53: @@
 |type="[]"}
 + $H_{\rm bin}(p)$ ist konkav hinsichtlich des Parameters $p$.
-- Es gilt $\text {Max} [H_{\rm bin}(p)] = 2 \ \rm bit$.
+- Es gilt $\text {Max }  [H_{\rm bin}(p)] = 2$ bit.
 {Welche Aussagen gelten für die blaue Entropiefunktion $H_{\rm B}(p)$?
 |type="[]"}
-+ <i>H</i><sub>B</sub>(<i>p</i>) ergibt sich beispielsweise  mit $p_1 = p$, $p_2 = 1/2- p$  und $p_3 = 1/2$.
++ $H_{\rm B}(p)$ ergibt sich beispielsweise  mit &nbsp;$p_1 = p$, &nbsp;$p_2 = 1/2- p$  &nbsp;und&nbsp; $p_3 = 1/2$.
-+ Es gilt $H_{\rm B}(p = 0)= 1 \ \rm bit.$
++ Es gilt $H_{\rm B}(p = 0)= 1$ bit.
-- Es gilt Es gilt $\text {Max} [H_{\rm B}(p)] =  \log_2 \hspace{0.1cm} (3) \ \rm bit$.
+- Es gilt Es gilt $\text {Max } [H_{\rm B}(p)] =  \log_2 \hspace{0.1cm} (3)$ bit.
 {Welche Aussagen gelten für die grüne Entropiefunktion $H_{\rm G}(p)$?
 |type="[]"}
-+ $H_{\rm G}(p)$ ergibt sich beispielsweise  mit $p_1 = p$, $p_2 = 2/3- p$  und $p_3 = 1/3$.
++ $H_{\rm G}(p)$ ergibt sich beispielsweise  mit &nbsp;$p_1 = p$, &nbsp;$p_2 = 2/3- p$  &nbsp;und&nbsp; $p_3 = 1/3$.
-- Es gilt $H_{\rm G}(p = 0)= 1 \ \rm bit.$
+- Es gilt $H_{\rm G}(p = 0)= 1$ bit.
-+ Es gilt $\text {Max} [H_{\rm G}(p)] =  \log_2 \hspace{0.1cm} (3) \ \rm bit$.
++ Es gilt $\text {Max } [H_{\rm G}(p)] =  \log_2 \hspace{0.1cm} (3)$ bit.