Aufgaben:Aufgabe 1.1Z: Binäre Entropiefunktion - Versionsgeschichte

Guenter am 16. Juni 2021 um 14:21 Uhr

2021-06-16T14:21:22Z

Guenter am 12. Dezember 2019 um 14:31 Uhr

2019-12-12T14:31:05Z

Guenter am 12. Dezember 2019 um 14:20 Uhr

2019-12-12T14:20:48Z

Guenter am 12. Dezember 2019 um 13:54 Uhr

2019-12-12T13:54:33Z

Guenter am 18. September 2018 um 09:37 Uhr

2018-09-18T09:37:57Z

Guenter am 18. September 2018 um 09:27 Uhr

2018-09-18T09:27:30Z

Mwiki-lnt: Textersetzung - „*Sollte die Eingabe des Zahlenwertes „0” erforderlich sein, so geben Sie bitte „0.” ein.“ durch „ “

2018-05-29T12:02:35Z

Textersetzung - „*Sollte die Eingabe des Zahlenwertes „0” erforderlich sein, so geben Sie bitte „0.” ein.“ durch „ “

Guenter: Guenter verschob die Seite Aufgaben:1.1Z Binäre Entropiefunktion nach Aufgaben:Aufgabe 1.1Z: Binäre Entropiefunktion

2018-01-03T13:53:25Z

Guenter verschob die Seite 1.1Z Binäre Entropiefunktion nach Aufgabe 1.1Z: Binäre Entropiefunktion

Guenter am 25. April 2017 um 14:59 Uhr

2017-04-25T14:59:51Z

Guenter am 25. April 2017 um 14:33 Uhr

2017-04-25T14:33:10Z

@@ Zeile 11: / Zeile 11: @@
 In diesen Gleichungen werden als Kurzbezeichnungen verwendet:
-* der <i>natürliche</i>&nbsp; Logarithmus &nbsp; &rArr; &nbsp; $ {\ln} \hspace{0.09cm} p = \log_{\rm e} \hspace{0.05cm} p$,
+* der natürliche Logarithmus &nbsp; &rArr; &nbsp; $ {\ln} \hspace{0.09cm} p = \log_{\rm e} \hspace{0.05cm} p$,
-* der Logarithmus <i>dualis</i> &nbsp; &rArr; &nbsp; ${\rm ld} \hspace{0.09cm} p = \log_2 \hspace{0.05cm} p$.
+* der Logarithmus dualis &nbsp; &rArr; &nbsp; ${\rm ld} \hspace{0.09cm} p = \log_2 \hspace{0.05cm} p$.

@@ Zeile 70: / Zeile 70: @@
 {{ML-Kopf}}
 '''(1)'''&nbsp; Richtig ist der <u>erste Lösungsvorschlag</u>. Die beiden weiteren Vorgaben machen keinen Sinn.
-*Die Entropiefunktion $H'_{\rm bin}(p)$ lautet entsprechend der Angabe:
+*Die Entropiefunktion&nbsp; $H'_{\rm bin}(p)$&nbsp; lautet entsprechend der Angabe:
 :$$H'_{\rm bin}(p) \hspace{0.1cm}  =  \hspace{0.1cm}  p \cdot {\rm ln}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm}} + (1-p) \cdot {\rm ln}\hspace{0.1cm}\frac{1}{1-p} = {\rm ln}\hspace{0.1cm}2 \cdot \left [ p \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm}} + (1-p) \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{1-p}\right ]$$
 :$$\Rightarrow \hspace{0.3cm} H'_{\rm bin}(p) \hspace{0.15cm}{\rm (in \hspace{0.15cm} nat)}=
@@ Zeile 76: / Zeile 76: @@
 '''(2)'''&nbsp; Die Optimierungsbedingung lautet ${\rm d}H_{\rm bin}(p)/{\rm d}p = 0$ bzw.
 :$$\frac{{\rm d}H'_{\rm bin}(p)}{{\rm d}p} \stackrel{!}{=} 0 \hspace{0.3cm}\Rightarrow \hspace{0.3cm} \frac{\rm d}{{\rm d}p}
     \big [ - p \cdot {\rm ln}\hspace{0.1cm}p - (1-p) \cdot {\rm ln}\hspace{0.1cm}({1-p})\big ] \stackrel{!}{=} 0$$
@@ Zeile 83: / Zeile 84: @@
 :$$\Rightarrow \hspace{0.3cm} {\rm ln}\hspace{0.1cm}\frac {1-p}{p}= 0 \hspace{0.3cm}\Rightarrow \hspace{0.3cm}\frac {1-p}{p}= 1
   \hspace{0.3cm}\Rightarrow \hspace{0.3cm} \underline { p = 0.5}\hspace{0.05cm}.$$
-Die Entropiewerte für $p = 0.5$ lauten somit:
+*Die Entropiewerte für&nbsp; $p = 0.5$&nbsp; lauten somit:
 :$$H'_{\rm bin}(p = 0.5) \hspace{0.1cm}  =  \hspace{0.1cm}  -2 \cdot 0.5 \cdot {\rm ln}\hspace{0.1cm}0.5 = {\rm ln}\hspace{0.1cm}2 = 0.693 \, {\rm nat}\hspace{0.05cm},$$
 :$$  H_{\rm bin}(p = 0.5) \hspace{0.1cm}  =  \hspace{0.1cm}  -2 \cdot 0.5 \cdot {\rm ld}\hspace{0.1cm}0.5 = {\rm log_2}\hspace{0.1cm}2 \hspace{0.15cm}\underline {= 1 \, {\rm bit}}\hspace{0.05cm}.$$
 '''(3)'''&nbsp; Für $p = 5\%$ erhält man:
 :$$H_{\rm bin}(p = 0.05) \hspace{0.1cm}  =  \hspace{0.1cm}  0.05 \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{0.05}+ 0.95 \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{0.95}=  \frac{1}{0.693} \cdot \big [ 0.05 \cdot {\rm ln}\hspace{0.1cm}20+ 0.95 \cdot {\rm ln}\hspace{0.1cm}1.053\big ]
   \hspace{0.15cm}\underline {\approx 0.286 \, {\rm bit}}\hspace{0.05cm}.$$
 '''(4)'''&nbsp; Diese Teilaufgabe lässt sich nicht in geschlossener Form lösen, sondern durch &bdquo;Probieren&rdquo;. Eine Lösung liefert das Ergebnis:
 :$$H_{\rm bin}(p = 0.10) = 0.469 \, {\rm bit}\hspace{0.05cm},\hspace{0.2cm}H_{\rm bin}(p = 0.12) = 0.529 \, {\rm bit}\hspace{0.05cm},\hspace{0.2cm}
   H_{\rm bin}(p = 0.11) \approx 0.5 \, {\rm bit} \hspace{0.3cm}
 \Rightarrow \hspace{0.3cm}p_1 \approx 0.11\hspace{0.05cm}. $$
-Die zweite (gesuchte) Lösung ergibt sich aus der Symmetrie von  $H_{\rm bin}(p)$ zu &nbsp;$p_2 = 1 -p_1 \hspace{0.15cm}\underline{= 0.89}$.
+*Die zweite (gesuchte) Lösung ergibt sich aus der Symmetrie von&nbsp;  $H_{\rm bin}(p)$&nbsp; zu &nbsp;$p_2 = 1 -p_1 \hspace{0.15cm}\underline{= 0.89}$.
 '''(5)'''&nbsp; Mit $p = 0.45$ erhält man $H_{\rm bin}(p) = 0.993\hspace{0.05cm}\rm  bit$. Der relative Fehler bezüglich Entropie ist somit
 :$$\varepsilon_{H} = \frac{H_{\rm bin}(p = 0.45)- H_{\rm bin}(p= 0.5)}{H_{\rm bin}(p = 0.5)}= \frac{0.993- 1}{1}\hspace{0.15cm}\underline {= -0.7 \, {\rm \%}}
 \hspace{0.05cm}.$$
-Das Minuszeichen deutet darauf hin, dass der Entropiewert $H_{\rm bin}(p) = 0.993\hspace{0.05cm}\rm  bit$ zu klein ist. Hätte die Simulation den zu großen Wert $p = 0.55$ ergeben, so wäre die Entropie und auch der relative Fehler genau so groß.
+*Das Minuszeichen deutet darauf hin, dass der Entropiewert&nbsp; $H_{\rm bin}(p) = 0.993\hspace{0.05cm}\rm  bit$&nbsp; zu klein ist.
-'''(6)'''&nbsp; Es gilt $H_{\rm bin}(p = 0.045) = 0.265\hspace{0.05cm}\rm  bit$. Mit dem Ergebnis der Teilaufgabe (3) &nbsp; &#8658; &nbsp; $H_{\rm bin}(p = 0.05) = 0.286\hspace{0.05cm}\rm  bit$folgt daraus für den relativen Fehler bezüglich der Entropie:
+'''(6)'''&nbsp; Es gilt&nbsp; $H_{\rm bin}(p = 0.045) = 0.265\hspace{0.05cm}\rm  bit$.
 :$$\varepsilon_{H} = \frac{H_{\rm bin}(p = 0.045)- H_{\rm bin}(p= 0.05)}{H_{\rm bin}(p = 0.05)}= \frac{0.265- 0.286}{0.286}\hspace{0.15cm}\underline {= -7.3 \, {\rm \%}}
 \hspace{0.05cm}.$$
-Das Ergebnis zeigt:
+*Das Ergebnis zeigt:
-*Eine falsche Bestimmung der Symbolwahrscheinlichkeiten um $10\%$ macht sich für $p = 0.05$ aufgrund des steileren $H_{\rm bin}(p)$&ndash;Verlaufs deutlich stärker bemerkbar als für $p = 0.5$.
+#&nbsp;Eine falsche Bestimmung der Symbolwahrscheinlichkeiten um&nbsp; $10\%$&nbsp; macht sich für&nbsp; $p = 0.05$&nbsp; aufgrund des steileren&nbsp; $H_{\rm bin}(p)$&ndash;Verlaufs deutlich stärker bemerkbar als für&nbsp; $p = 0.5$.
-*Eine zu große Wahrscheinlichkeit $p = 0.055$ hätte zu $H_{\rm bin}(p = 0.055) = 0.307\hspace{0.05cm}\rm  bit$ geführt und damit zu einer Verfälschung um $\varepsilon_H = +7.3\%$. In diesem Bereich verläuft die Entropiekurve also (mit guter Näherung) linear.
+#&nbsp;Eine zu große Wahrscheinlichkeit&nbsp; $p = 0.055$&nbsp; hätte zu&nbsp; $H_{\rm bin}(p = 0.055) = 0.307\hspace{0.05cm}\rm  bit$&nbsp; geführt und damit zu einer Verfälschung um&nbsp; $\varepsilon_H = +7.3\%$.&nbsp; In diesem Bereich verläuft die Entropiekurve also (mit guter Näherung) linear.
 {{ML-Fuß}}

@@ Zeile 11: / Zeile 11: @@
 In diesen Gleichungen werden als Kurzbezeichnungen verwendet:
-* der <i>natürliche</i>&nbsp; Logarithmus &nbsp; &rArr; &nbsp; $ \ln \hspace{0.05cm} p = \log_{\rm e} \hspace{0.05cm} p$,
+* der <i>natürliche</i>&nbsp; Logarithmus &nbsp; &rArr; &nbsp; $ {\ln} \hspace{0.09cm} p = \log_{\rm e} \hspace{0.05cm} p$,
-* der Logarithmus <i>dualis</i> &nbsp; &rArr; &nbsp; ${\rm ld} \hspace{0.05cm} p = \log_2 \hspace{0.05cm} p$.
+* der Logarithmus <i>dualis</i> &nbsp; &rArr; &nbsp; ${\rm ld} \hspace{0.09cm} p = \log_2 \hspace{0.05cm} p$.
@@ Zeile 33: / Zeile 33: @@
 <quiz display=simple>
-{Wie hängen $H_{\rm bin}(p)$ mit der Einheit &bdquo;bit&rdquo; und $H'_{\rm bin}(p)$ mit der Einheit &bdquo;nat&rdquo; zusammen?
+{Wie hängen&nbsp; $H_{\rm bin}(p)$&nbsp; mit der Einheit &bdquo;bit&rdquo; und&nbsp; $H'_{\rm bin}(p)$&nbsp; mit der Einheit &bdquo;nat&rdquo; zusammen?
 |type="[]"}
-+ $H_{\rm bin}(p)$ und $H'_{\rm bin}(p)$ unterscheiden sich um einen Faktor.
++ $H_{\rm bin}(p)$&nbsp; und&nbsp; $H'_{\rm bin}(p)$&nbsp; unterscheiden sich um einen Faktor.
-- Es gilt $H'_{\rm bin}(p) = H_{\rm bin}(\ln \ p)$.
+- Es gilt&nbsp; $H'_{\rm bin}(p) = H_{\rm bin}(\ln \ p)$.
-- Es gilt $H'_{\rm bin}(p) = 1 + H_{\rm bin}(2 p)$.
+- Es gilt&nbsp; $H'_{\rm bin}(p) = 1 + H_{\rm bin}(2 p)$.
-{Zeigen Sie, dass sich das Maximum der binären Entropiefunktion für $p = 0.5$ ergibt. Wie groß ist $H_\text{bin}(p = 0.5)$?
+{Zeigen Sie, dass sich das Maximum der binären Entropiefunktion für&nbsp; $p = 0.5$&nbsp; ergibt.&nbsp; Wie groß ist&nbsp; $H_\text{bin}(p = 0.5)$?
 |type="{}"}
 $H_\text{bin}(p = 0.5) \ = \ $  { 1 } $\ \rm bit$
-{Berechnen Sie den binären Entropiewert für $p = 0.05$.
+{Berechnen Sie den binären Entropiewert für&nbsp; $p = 0.05$.
 |type="{}"}
 $H_\text{bin}(p = 0.05) \ =  \ $ { 0.286 3% } $\ \rm bit$
-{Geben Sie den größeren der beiden $p$&ndash;Werte ein, die sich aus der Gleichung $H_\text{bin}(p)= 0.5 \ \rm bit$ ergeben.
+{Geben Sie den größeren der beiden&nbsp; $p$&ndash;Werte ein, die sich aus der Gleichung&nbsp; $H_\text{bin}(p)= 0.5 \ \rm bit$&nbsp; ergeben.
 |type="{}"}
 $p \ =  \ $ { 0.89 3% }
-{Durch unzureichende Simulation wurde $p = 0.5$ um $10\%$ zu niedrig ermittelt. <br>Wie groß ist der prozentuale Fehler hinsichtlich der Entropie?
+{Durch unzureichende Simulation wurde&nbsp; $p = 0.5$&nbsp; um&nbsp; $10\%$ zu niedrig ermittelt.&nbsp; Wie groß ist der prozentuale Fehler hinsichtlich der Entropie?
 |type="{}"}
-$p = 0.45\ {\rm statt}\ p=0.5\hspace{-0.1cm}:\ \ \varepsilon_H \ =  \ $ { -0.72--0.68 } $\ \rm \%$
+$p = 0.45\ \ {\rm statt}\ \ p=0.5\hspace{-0.1cm}:\ \ \varepsilon_H \ =  \ $ { -0.72--0.68 } $\ \rm \%$
-{Durch unzureichende Simulation wurde $p = 0.05$ um $10\%$ zu niedrig ermittelt. <br>Wie groß ist der prozentuale Fehler hinsichtlich der Entropie?
+{Durch unzureichende Simulation wurde&nbsp; $p = 0.05$&nbsp; um&nbsp; $10\%$&nbsp; zu niedrig ermittelt.&nbsp; Wie groß ist hier der prozentuale Fehler hinsichtlich der Entropie?
 |type="{}"}
-$p = 0.045\ {\rm statt}\ p=0.05\hspace{-0.1cm}:\ \ \varepsilon_H \ =  \ $ { -7.44--7.16 } $\ \rm \%$
+$p = 0.045\ \ {\rm statt}\ \ p=0.05\hspace{-0.1cm}:\ \ \varepsilon_H \ =  \ $ { -7.44--7.16 } $\ \rm \%$

@@ Zeile 3: / Zeile 3: @@
 }}
-[[Datei:P_ID2234__Inf_Z_1_1.png|right|frame|Binäre Entropiefunktion in &bdquo;bit&rdquo; und &bdquo;nat&rdquo;]]
+[[Datei:P_ID2234__Inf_Z_1_1.png|right|frame|Binäre Entropiefunktion <br>in &bdquo;bit&rdquo; und &bdquo;nat&rdquo;]]
-Wir betrachten eine Folge von binären Zufallsgrößen mit dem Symbolvorrat $\{ \rm A, \ B \}$ &nbsp; &rArr; &nbsp; $M = 2$. Die Auftrittswahrscheinlichkeiten der beiden Symbole seien $p_{\rm A }= p$ &nbsp;und&nbsp; $p_{\rm B } = 1 - p$.
+Wir betrachten eine Folge von binären Zufallsgrößen mit dem Symbolvorrat&nbsp; $\{ \rm A, \ B \}$ &nbsp; &rArr; &nbsp; $M = 2$.&nbsp; Die Auftrittswahrscheinlichkeiten der beiden Symbole seien&nbsp; $p_{\rm A }= p$ &nbsp;und&nbsp; $p_{\rm B } = 1 - p$.
-Die einzelnen Folgenelemente sind statistisch unabhängig. Für die Entropie dieser Nachrichtenquelle gilt gleichermaßen:
+Die einzelnen Folgenelemente sind statistisch unabhängig.&nbsp; Für die Entropie dieser Nachrichtenquelle gilt gleichermaßen:
 :$$H_{\rm bin}(p) \hspace{0.1cm}  =  \hspace{0.1cm}  p \cdot {\rm ld}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm}} + (1-p) \cdot {\rm ld}\hspace{0.1cm}\frac{1}{1-p}\hspace{0.15cm}{\rm in \hspace{0.15cm} \big [bit \big  ]}\hspace{0.05cm},$$
 :$$ H'_{\rm bin}(p) \hspace{0.1cm}  =  \hspace{0.1cm}  p \cdot {\rm ln}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm}} + (1-p) \cdot {\rm ln}\hspace{0.1cm}\frac{1}{1-p}\hspace{0.15cm}{\rm in \hspace{0.15cm} \big [nat\big ]}\hspace{0.05cm}.$$
 In diesen Gleichungen werden als Kurzbezeichnungen verwendet:
-* der <i>natürliche</i> Logarithmus &nbsp; &rArr; &nbsp; $ \ln \hspace{0.05cm} p = \log_{\rm e} \hspace{0.05cm} p$,
+* der <i>natürliche</i>&nbsp; Logarithmus &nbsp; &rArr; &nbsp; $ \ln \hspace{0.05cm} p = \log_{\rm e} \hspace{0.05cm} p$,
 * der Logarithmus <i>dualis</i> &nbsp; &rArr; &nbsp; ${\rm ld} \hspace{0.05cm} p = \log_2 \hspace{0.05cm} p$.
-Die Grafik zeigt diese binäre Entropiefunktion in Abhängigkeit des Parameters $p$, wobei $0 ≤ p ≤ 1$ vorausgesetzt wird.
+Die Grafik zeigt die binäre Entropiefunktion in Abhängigkeit des Parameters&nbsp; $p$, wobei&nbsp; $0 ≤ p ≤ 1$&nbsp; vorausgesetzt wird.
-In den Teilaufgaben '''(5)''' und '''(6)''' soll der relative Fehler ermittelt werden, wenn die Symbolwahrscheinlichkeit &nbsp;$p$&nbsp; per Simulation (also als relative Häufigkeit $h$) ermittelt wurde und sich dabei fälschlicherweise &nbsp;$h = 0.9 \cdot p$&nbsp; ergeben hat. Der relative Fehler ist dann wie folgt gegeben:
+In den Teilaufgaben&nbsp; '''(5)'''&nbsp; und&nbsp; '''(6)'''&nbsp; soll der relative Fehler ermittelt werden, wenn die Symbolwahrscheinlichkeit &nbsp;$p$&nbsp; per Simulation&nbsp; $($also als relative Häufigkeit&nbsp; $h)$&nbsp; ermittelt wurde und sich dabei fälschlicherweise &nbsp;$h = 0.9 \cdot p$&nbsp; ergeben hat.&nbsp; Der relative Fehler ist dann wie folgt gegeben:
 :$$\varepsilon_{H} = \frac{H_{\rm bin}(h)- H_{\rm bin}(p)}{H_{\rm bin}(p)}\hspace{0.05cm}.$$
 ''Hinweis:''
-*Die Aufgabe gehört zum  Kapitel [[Informationstheorie/Gedächtnislose_Nachrichtenquellen|Gedächtnislose Nachrichtenquellen]].
+*Die Aufgabe gehört zum  Kapitel&nbsp; [[Informationstheorie/Gedächtnislose_Nachrichtenquellen|Gedächtnislose Nachrichtenquellen]].

@@ Zeile 65: / Zeile 65: @@
 ===Musterlösung===
 {{ML-Kopf}}
 '''(1)'''&nbsp; Richtig ist der <u>erste Lösungsvorschlag</u>. Die beiden weiteren Vorgaben machen keinen Sinn.
 *Die Entropiefunktion $H'_{\rm bin}(p)$ lautet entsprechend der Angabe:
-:$$H'_{\rm bin}(p) \hspace{0.1cm}  =  \hspace{0.1cm}  p \cdot {\rm ln}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm}} + (1-p) \cdot {\rm ln}\hspace{0.1cm}\frac{1}{1-p} = {\rm ln}\hspace{0.1cm}2 \cdot \left [ p \cdot {\rm ld}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm}} + (1-p) \cdot {\rm ld}\hspace{0.1cm}\frac{1}{1-p}\right ]$$
+:$$H'_{\rm bin}(p) \hspace{0.1cm}  =  \hspace{0.1cm}  p \cdot {\rm ln}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm}} + (1-p) \cdot {\rm ln}\hspace{0.1cm}\frac{1}{1-p} = {\rm ln}\hspace{0.1cm}2 \cdot \left [ p \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm}} + (1-p) \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{1-p}\right ]$$
 :$$\Rightarrow \hspace{0.3cm} H'_{\rm bin}(p) \hspace{0.15cm}{\rm (in \hspace{0.15cm} nat)}=
   {\rm ln}\hspace{0.1cm}2 \cdot H_{\rm bin}(p) \hspace{0.15cm}{\rm (in \hspace{0.15cm} bit)} = 0.693\cdot H_{\rm bin}(p)\hspace{0.05cm}.$$
 '''(2)'''&nbsp; Die Optimierungsbedingung lautet ${\rm d}H_{\rm bin}(p)/{\rm d}p = 0$ bzw.
 :$$\frac{{\rm d}H'_{\rm bin}(p)}{{\rm d}p} \stackrel{!}{=} 0 \hspace{0.3cm}\Rightarrow \hspace{0.3cm} \frac{\rm d}{{\rm d}p}
-    \left [ - p \cdot {\rm ln}\hspace{0.1cm}p - (1-p) \cdot {\rm ln}\hspace{0.1cm}({1-p})\right ] \stackrel{!}{=} 0$$
+    \big [ - p \cdot {\rm ln}\hspace{0.1cm}p - (1-p) \cdot {\rm ln}\hspace{0.1cm}({1-p})\big ] \stackrel{!}{=} 0$$
 :$$\Rightarrow \hspace{0.3cm}
   - {\rm ln}\hspace{0.1cm}p - p \cdot \frac {1}{p}+ {\rm ln}\hspace{0.1cm}(1-p) + (1-p)\cdot \frac {1}{1- p}\stackrel{!}{=} 0$$
@@ Zeile 82: / Zeile 81: @@
 Die Entropiewerte für $p = 0.5$ lauten somit:
 :$$H'_{\rm bin}(p = 0.5) \hspace{0.1cm}  =  \hspace{0.1cm}  -2 \cdot 0.5 \cdot {\rm ln}\hspace{0.1cm}0.5 = {\rm ln}\hspace{0.1cm}2 = 0.693 \, {\rm nat}\hspace{0.05cm},$$
-:$$  H_{\rm bin}(p = 0.5) \hspace{0.1cm}  =  \hspace{0.1cm}  -2 \cdot 0.5 \cdot {\rm ld}\hspace{0.1cm}0.5 = {\rm ld}\hspace{0.1cm}2 \hspace{0.15cm}\underline {= 1 \, {\rm bit}}\hspace{0.05cm}.$$
+:$$  H_{\rm bin}(p = 0.5) \hspace{0.1cm}  =  \hspace{0.1cm}  -2 \cdot 0.5 \cdot {\rm ld}\hspace{0.1cm}0.5 = {\rm log_2}\hspace{0.1cm}2 \hspace{0.15cm}\underline {= 1 \, {\rm bit}}\hspace{0.05cm}.$$
 '''(3)'''&nbsp; Für $p = 5\%$ erhält man:
-:$$H_{\rm bin}(p = 0.05) \hspace{0.1cm}  =  \hspace{0.1cm}  0.05 \cdot {\rm ld}\hspace{0.1cm}\frac{1}{0.05}+ 0.95 \cdot {\rm ld}\hspace{0.1cm}\frac{1}{0.95}=  \frac{1}{0.693} \cdot \left [ 0.05 \cdot {\rm ln}\hspace{0.1cm}20+ 0.95 \cdot {\rm ln}\hspace{0.1cm}1.053\right ]
+:$$H_{\rm bin}(p = 0.05) \hspace{0.1cm}  =  \hspace{0.1cm}  0.05 \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{0.05}+ 0.95 \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{0.95}=  \frac{1}{0.693} \cdot \big [ 0.05 \cdot {\rm ln}\hspace{0.1cm}20+ 0.95 \cdot {\rm ln}\hspace{0.1cm}1.053\big ]
   \hspace{0.15cm}\underline {\approx 0.286 \, {\rm bit}}\hspace{0.05cm}.$$
 '''(4)'''&nbsp; Diese Teilaufgabe lässt sich nicht in geschlossener Form lösen, sondern durch &bdquo;Probieren&rdquo;. Eine Lösung liefert das Ergebnis:
@@ Zeile 92: / Zeile 93: @@
   H_{\rm bin}(p = 0.11) \approx 0.5 \, {\rm bit} \hspace{0.3cm}
 \Rightarrow \hspace{0.3cm}p_1 \approx 0.11\hspace{0.05cm}. $$
-Die zweite (gesuchte) Lösung ergibt sich aus der Symmetrie von  $H_{\rm bin}(p)$ zu $p_2 = 1 -p_1 \hspace{0.15cm}\underline{= 0.89}$.
+Die zweite (gesuchte) Lösung ergibt sich aus der Symmetrie von  $H_{\rm bin}(p)$ zu &nbsp;$p_2 = 1 -p_1 \hspace{0.15cm}\underline{= 0.89}$.
 '''(5)'''&nbsp; Mit $p = 0.45$ erhält man $H_{\rm bin}(p) = 0.993\hspace{0.05cm}\rm  bit$. Der relative Fehler bezüglich Entropie ist somit
@@ Zeile 98: / Zeile 100: @@
 \hspace{0.05cm}.$$
 Das Minuszeichen deutet darauf hin, dass der Entropiewert $H_{\rm bin}(p) = 0.993\hspace{0.05cm}\rm  bit$ zu klein ist. Hätte die Simulation den zu großen Wert $p = 0.55$ ergeben, so wäre die Entropie und auch der relative Fehler genau so groß.
 '''(6)'''&nbsp; Es gilt $H_{\rm bin}(p = 0.045) = 0.265\hspace{0.05cm}\rm  bit$. Mit dem Ergebnis der Teilaufgabe (3) &nbsp; &#8658; &nbsp; $H_{\rm bin}(p = 0.05) = 0.286\hspace{0.05cm}\rm  bit$folgt daraus für den relativen Fehler bezüglich der Entropie:

@@ Zeile 23: / Zeile 23: @@
 ''Hinweise:''
 *Die Aufgabe gehört zum  Kapitel [[Informationstheorie/Gedächtnislose_Nachrichtenquellen|Gedächtnislose Nachrichtenquellen]].
-*Sollte die Eingabe des Zahlenwertes &bdquo;0&rdquo; erforderlich sein, so geben Sie bitte &bdquo;0.&rdquo; ein.

@@ Zeile 17: / Zeile 17: @@
 Die Grafik zeigt diese binäre Entropiefunktion in Abhängigkeit des Parameters $p$, wobei $0 ≤ p ≤ 1$ vorausgesetzt wird.
-:In den Teilaufgaben (5) und (6) soll der relative Fehler ermittelt werden, wenn die Symbolwahrscheinlichkeit $p$ per Simulation (also als relative Häufigkeit $h$) ermittelt wurde und sich dabei fälschlicherweise $h = 0.9 \cdot p$ ergeben hat. Der relative Fehler ist dann wie folgt gegeben:
+In den Teilaufgaben (5) und (6) soll der relative Fehler ermittelt werden, wenn die Symbolwahrscheinlichkeit $p$ per Simulation (also als relative Häufigkeit $h$) ermittelt wurde und sich dabei fälschlicherweise $h = 0.9 \cdot p$ ergeben hat. Der relative Fehler ist dann wie folgt gegeben:
 :$$\varepsilon_{H} = \frac{H_{\rm bin}(h)- H_{\rm bin}(p)}{H_{\rm bin}(p)}\hspace{0.05cm}.$$
@@ Zeile 29: / Zeile 29: @@
 <quiz display=simple>
-{Wie hängen <i>H</i><sub>bin</sub>(<i>p</i>) in bit und <i>H'</i><sub> bin</sub>(<i>p</i>) in nat zusammen?
+{Wie hängen $H_{\rm bin}(p)$ in bit und $H'_{\rm bin}(p)$ in nat zusammen?
 |type="[]"}
-+ <i>H</i><sub>bin</sub>(<i>p</i>) und <i>H'</i><sub> bin</sub>(<i>p</i>) unterscheiden sich um einen Faktor.
++ $H_{\rm bin}(p)$ und $H'_{\rm bin}(p)$ unterscheiden sich um einen Faktor.
-- Es gilt <i>H'</i><sub> bin</sub>(<i>p</i>) = <i>H</i><sub>bin</sub>(ln <i>p</i>).
+- Es gilt $H'_{\rm bin}(p) = H_{\rm bin}(\ln \ p)$.
-- Es gilt <i>H'</i><sub> bin</sub>(<i>p</i>) = 1 + <i>H</i><sub>bin</sub>(2 <i>p</i>).
+- Es gilt $H'_{\rm bin}(p) = 1 + H_{\rm bin}(2 p)$.
-{Zeigen Sie, dass sich das Maximum der binären Entropiefunktion für <i>p</i> = 0.5 ergibt. Wie groß ist <i>H</i><sub>bin</sub>(<i>p</i> = 0.5)?
+{Zeigen Sie, dass sich das Maximum der binären Entropiefunktion für $p = 0.5$ ergibt. Wie groß ist $H_\text{bin}(p = 0.5)$?
 |type="{}"}
-$H_\text{bin}(p = 0.5)$ = { 1 3% } $bit$
+$H_\text{bin}(p = 0.5) \ = $  { 1 } $\ \rm bit$
-{Berechnen Sie den binären Entropiewert für <i>p</i> = 0.05.
+{Berechnen Sie den binären Entropiewert für $p = 0.05$.
 |type="{}"}
-$H_\text{bin}(p = 0.05)$ = { 1 3% } $bit$
+$H_\text{bin}(p = 0.05) \ = $ { 0.286 3% } $\ \rm bit$
-{Geben Sie den größeren der beiden <i>p</i>&ndash;Werte ein, die sich aus der Gleichung <i>H</i><sub>bin</sub>(<i>p</i>) = 0.5 bit ergeben.
+{Geben Sie den größeren der beiden $p$&ndash;Werte ein, die sich aus der Gleichung $H_\text{bin}(p)= 0.5 \ \rm bit$ ergeben.
 |type="{}"}
-$p$ = { 0.89 3% }
+$p \ = $ { 0.89 3% }
-{Durch unzureichende Simulation wurde <i>p</i> = 0.5 um 10% zu niedrig ermittelt. Wie groß ist der prozentuale Fehler hinsichtlich der Entropie?
+{Durch unzureichende Simulation wurde $p = 0.5$ um $10\%$ zu niedrig ermittelt. Wie groß ist der prozentuale Fehler hinsichtlich der Entropie?
 |type="{}"}
-$p = 0.45\ statt\ p=0.5:\ \ \epsilon_H$ = - { 0.7 3% } %
+$p = 0.45\ {\rm statt}\ p=0.5\hspace{-0.1cm}:\ \ \varepsilon_H \ = $ { -0.72--0.68 } $\ \rm \%$
-{Durch unzureichende Simulation wurde <i>p</i> = 0.05 um 10% zu niedrig ermittelt. Wie groß ist der prozentuale Fehler hinsichtlich der Entropie?
+{Durch unzureichende Simulation wurde $p = 0.05$ um $10\%$ zu niedrig ermittelt. Wie groß ist der prozentuale Fehler hinsichtlich der Entropie?
 |type="{}"}
-$p = 0.045\ statt\ p=0.05:\ \ \epsilon_H$ = - { 7.3 3% } %
+$p = 0.045\ {\rm statt}\ p=0.05\hspace{-0.1cm}:\ \ \varepsilon_H \ = $ { -7.44--7.16 } $\ \rm \%$