Aufgaben:Aufgabe 4.4: Herkömmliche Entropie und differenzielle Entropie - Versionsgeschichte

Guenter am 28. September 2021 um 13:16 Uhr

2021-09-28T13:16:25Z

Guenter am 12. Februar 2020 um 08:36 Uhr

2020-02-12T08:36:11Z

Guenter am 12. Februar 2020 um 08:21 Uhr

2020-02-12T08:21:16Z

Guenter am 12. Februar 2020 um 08:16 Uhr

2020-02-12T08:16:32Z

Guenter am 16. Oktober 2018 um 14:37 Uhr

2018-10-16T14:37:28Z

Guenter am 16. Oktober 2018 um 14:36 Uhr

2018-10-16T14:36:26Z

Guenter am 16. Oktober 2018 um 14:04 Uhr

2018-10-16T14:04:02Z

Guenter am 16. Oktober 2018 um 14:01 Uhr

2018-10-16T14:01:56Z

Mwiki-lnt: Textersetzung - „\\sSollte die Eingabe des Zahlenwertes „0” erforderlich sein, so geben Sie bitte „0\.” ein.“ durch „ “

2018-05-29T12:03:52Z

Textersetzung - „\*\s*Sollte die Eingabe des Zahlenwertes „0” erforderlich sein, so geben Sie bitte „0\.” ein.“ durch „ “

Guenter: Guenter verschob die Seite Aufgaben:4.4 Herkömmliche Entropie und differenzielle Entropie nach Aufgaben:Aufgabe 4.4: Herkömmliche Entropie und differenzielle Entropie

2018-01-03T14:10:32Z

Guenter verschob die Seite 4.4 Herkömmliche Entropie und differenzielle Entropie nach Aufgabe 4.4: Herkömmliche Entropie und differenzielle Entropie

@@ Zeile 96: / Zeile 96: @@
 :$$H(Z_{X,\hspace{0.05cm} M = 4}) \approx  -{\rm log}_2 \hspace{0.1cm} ({\it \Delta}) + h(X) =
 \,{\rm bit} +(- 1\,{\rm bit})\hspace{0.15cm}\underline{= 2\,{\rm bit}}\hspace{0.05cm}. $$
-<i>Hinweis:</i>&nbsp; Nur bei der Gleichverteilung liefert die Näherung genau das gleiche Ergebnis wie die direkte Berechnung, also die tatsächliche Entropie.
+<u>Hinweis:</u>&nbsp; Nur bei der Gleichverteilung liefert die Näherung genau das gleiche Ergebnis wie die direkte Berechnung, also die tatsächliche Entropie.
 [[Datei:P_ID2880__Inf_A_4_4d.png|right|frame|Quantisierte Zufallsgröße  $Z_{Y, \ M = 4}$]]
@@ Zeile 109: / Zeile 109: @@
 [[Datei:P_ID2881__Inf_A_4_4e.png|right|frame|Quantisierte Zufallsgröße&nbsp;  $Z_{Y, \ M = 8}$]]
-'''(5)'''&nbsp; Im Gegensatz zur Teilaufgabe&nbsp; '''(5)'''&nbsp; gilt nun &nbsp;${\it \Delta}  = 1/4$.&nbsp; Daraus folgt für die &bdquo;Näherung&rdquo;:
+'''(5)'''&nbsp; Im Gegensatz zur Teilaufgabe&nbsp; '''(4)'''&nbsp; gilt nun &nbsp;${\it \Delta}  = 1/4$.&nbsp; Daraus folgt für die &bdquo;Näherung&rdquo;:
 :$$H(Z_{Y,\hspace{0.05cm} M = 8})   \approx    -{\rm log}_2 \hspace{0.1cm} ({\it \Delta}) + h(Y) =
 \,{\rm bit} + 1\,{\rm bit}\hspace{0.15cm}\underline{= 3\,{\rm bit}}\hspace{0.05cm}.$$
 Man erhält wieder das gleiche  Ergebnis wie bei der direkten Berechnung.
-<br clear=all>
 '''(6)'''&nbsp; Richtig ist nur die <u>Aussage 1</u>:
 * Die Entropie&nbsp; $H(Z)$&nbsp; einer diskreten Zufallsgröße&nbsp; $Z = \{z_1, \ \text{...} \ , z_M\}$&nbsp; ist nie negativ.

@@ Zeile 77: / Zeile 77: @@
 '''(2)'''&nbsp; Mit &nbsp;$y_{\rm min} = -1$&nbsp; und &nbsp;$y_{\rm max} = +1$&nbsp; ergibt sich dagegen für die differentielle Entropie der Zufallsgröße $Y$:
 :$$h(Y) = {\rm log}_2 \hspace{0.1cm} (y_{\rm max} - y_{\rm min}) = {\rm log}_2 \hspace{0.1cm} (2) \hspace{0.15cm}\underline{= + 1\,{\rm bit}}\hspace{0.05cm}. $$
 [[Datei:P_ID2879__Inf_A_4_4c.png|right|frame|Quantisierte Zufallsgröße  $Z_{X, \ M = 4}$]]
-'''(3)'''&nbsp; Die nebenstehende Grafik verdeutlicht die bestmögliche Quantisierung der Zufallsgröße $X$ mit der Quantisierungsstufenzahl $M = 4$ &nbsp; &#8658; &nbsp; Zufallsgröße $Z_{X, \ M = 4})$:
+[[Datei:P_ID2879__Inf_A_4_4c.png|right|frame|Quantisierte Zufallsgröße&nbsp;  $Z_{X, \ M = 4}$]]
 *Die Intervallbreite ist hier gleich &nbsp;${\it \Delta} = 0.5/4 = 1/8$.
-*Die möglichen Werte (jeweils in der Intervallmitte) sind &nbsp;$z \in \{0.0625,\ 0.1875,\ 0.3125,\ 0.4375\}$.
+*Die möglichen Werte&nbsp; (jeweils in der Intervallmitte)&nbsp; sind &nbsp;$z \in \{0.0625,\ 0.1875,\ 0.3125,\ 0.4375\}$.
-*Die <u>direkte Entropieberechnung</u> ergibt mit der Wahrscheinlichkeitsfunktion $P_Z(Z) = \big [1/4,\ \text{...} , \ 1/4 \big]$:
 :$$H(Z_{X, \ M = 4}) = {\rm log}_2 \hspace{0.1cm} (4) \hspace{0.15cm}\underline{= 2\,{\rm bit}}
 \hspace{0.05cm}.$$
+Mit der <u>Näherung</u> erhält man unter Berücksichtigung des Ergebnisses von&nbsp; '''(1)''':
 :$$H(Z_{X,\hspace{0.05cm} M = 4}) \approx  -{\rm log}_2 \hspace{0.1cm} ({\it \Delta}) + h(X) =
 \,{\rm bit} +(- 1\,{\rm bit})\hspace{0.15cm}\underline{= 2\,{\rm bit}}\hspace{0.05cm}. $$
-<i>Hinweis:</i> Nur bei der Gleichverteilung liefert die Näherung genau das gleiche Ergebnis wie die direkte Berechnung, also die tatsächliche Entropie.
+<i>Hinweis:</i>&nbsp; Nur bei der Gleichverteilung liefert die Näherung genau das gleiche Ergebnis wie die direkte Berechnung, also die tatsächliche Entropie.
 [[Datei:P_ID2880__Inf_A_4_4d.png|right|frame|Quantisierte Zufallsgröße  $Z_{Y, \ M = 4}$]]
 <br>
-'''(5)'''&nbsp; Aus der zweiten Grafik erkennt man die Gemeinsamkeiten / Unterschiede zur Teilaufgabe '''(3)''':
+'''(4)'''&nbsp; Aus der zweiten Grafik erkennt man die Gemeinsamkeiten / Unterschiede zur Teilaufgabe&nbsp; '''(3)''':
-:* Der Quantisierungsparameter ist nun &nbsp;${\it \Delta}  = 2/4 = 1/2$.
+* Der Quantisierungsparameter ist nun &nbsp;${\it \Delta}  = 2/4 = 1/2$.
-:* Die möglichen Werte sind nun &nbsp;$z \in \{\pm 0.75,\ \pm 0.25\}$.
+* Die möglichen Werte sind nun &nbsp;$z \in \{\pm 0.75,\ \pm 0.25\}$.
-:* Somit liefert hier die &bdquo;Näherung&rdquo; (ebenso wie die direkte Berechnung) wieder das Ergebnis:
+* Somit liefert hier die &bdquo;Näherung&rdquo;&nbsp; (ebenso wie die direkte Berechnung)&nbsp; das Ergebnis:
 :$$H(Z_{Y,\hspace{0.05cm} M = 4})   \approx    -{\rm log}_2 \hspace{0.1cm} ({\it \Delta}) + h(Y) =
 \,{\rm bit} + 1\,{\rm bit}\hspace{0.15cm}\underline{= 2\,{\rm bit}}\hspace{0.05cm}.$$
-[[Datei:P_ID2881__Inf_A_4_4e.png|right|frame|Quantisierte Zufallsgröße  $Z_{Y, \ M = 8}$]]
+[[Datei:P_ID2881__Inf_A_4_4e.png|right|frame|Quantisierte Zufallsgröße&nbsp;  $Z_{Y, \ M = 8}$]]
-'''(6)'''&nbsp; Im Gegensatz zur Teilaufgabe '''(5)''' gilt nun &nbsp;${\it \Delta}  = 1/4$. Daraus folgt für die &bdquo;Näherung&rdquo;:
+'''(5)'''&nbsp; Im Gegensatz zur Teilaufgabe&nbsp; '''(5)'''&nbsp; gilt nun &nbsp;${\it \Delta}  = 1/4$.&nbsp; Daraus folgt für die &bdquo;Näherung&rdquo;:
 :$$H(Z_{Y,\hspace{0.05cm} M = 8})   \approx    -{\rm log}_2 \hspace{0.1cm} ({\it \Delta}) + h(Y) =
 \,{\rm bit} + 1\,{\rm bit}\hspace{0.15cm}\underline{= 3\,{\rm bit}}\hspace{0.05cm}.$$
 Man erhält wieder das gleiche  Ergebnis wie bei der direkten Berechnung.
+* Dagegen kann die differentielle Entropie&nbsp; $h(X)$&nbsp; einer wertkontinuierlichen Zufallsgröße&nbsp; $X$&nbsp; wie folgt sein:
-'''(7)'''&nbsp; Richtig ist nur die <u>Aussage 1</u>:
+** $h(X) < 0$&nbsp; $($Teilaufgabe 1$)$,
-* Die Entropie $H(Z)$ einer diskreten Zufallsgröße $Z = \{z_1, \ \text{...} \ , z_M\}$ kann nie negativ werden.
+** $h(X) > 0$&nbsp; $($Teilaufgabe 2$)$, oder auch
-*Der Grenzfall $H(Z) = 0$ ergibt sich zum Beispiel für &nbsp;${\rm Pr}(Z = z_1) = 1$&nbsp; und &nbsp;${\rm Pr}(Z = z_\mu) = 0$&nbsp; für &nbsp;$2 \le \mu \le M$.
+**$h(X) = 0$&nbsp;  $($zum Beispiel für &nbsp;$x_{\rm min} = 0$&nbsp; und  &nbsp;$x_{\rm max} = 1)$.
 {{ML-Fuß}}

@@ Zeile 57: / Zeile 57: @@
 |type="{}"}
 $H(Z_{X,\hspace{0.05cm}M=4})\ = \ $ { 2 3% } $\ \rm bit$
 {Berechnen Sie die Entropie der wertdiskreten Zufallsgröße&nbsp; $Z_{Y,\hspace{0.05cm}M=8}$&nbsp; mit der angegebenen Näherung</u>.

@@ Zeile 4: / Zeile 4: @@
 [[Datei:P_ID2878__Inf_A_4_4.png|right|frame|Zweimal Gleichverteilung]]
-Wir betrachten die zwei wertkontinuierlichen Zufallsgrößen $X$ und $Y$ mit den Wahrscheinlichkeitsdichtefunktionen $f_X(x)$ und $f_Y(y)$. Für diese Zufallsgrößen kann man
+Wir betrachten die beiden wertkontinuierlichen Zufallsgrößen&nbsp; $X$&nbsp; und&nbsp; $Y$&nbsp; mit den Wahrscheinlichkeitsdichtefunktionen $f_X(x)$&nbsp; und $f_Y(y)$.&nbsp; Für diese Zufallsgrößen kann man
-* die herkömmlichen Entropien $H(X)$ bzw. $H(Y)$ nicht angeben,
+* die herkömmlichen Entropien&nbsp; $H(X)$&nbsp; bzw.&nbsp; $H(Y)$&nbsp; nicht angeben,
-* jedoch aber die differentiellen Entropien $h(X)$ und $h(Y)$.
+* jedoch aber die differentiellen Entropien&nbsp; $h(X)$&nbsp; und&nbsp; $h(Y)$.
 Wir betrachten außerdem zwei wertdiskrete Zufallsgrößen:
-*Die Zufallsgröße $Z_{X,\hspace{0.05cm}M}$ ergibt sich durch (geeignete) Quantisierung der Zufallsgröße $X$ mit der Quantisierungsstufenzahl $N$ &nbsp; &#8658; &nbsp; Quantisierungsintervallbreite ${\it \Delta} = 0.5/M$.
+*Die Zufallsgröße&nbsp; $Z_{X,\hspace{0.05cm}M}$&nbsp; ergibt sich durch (geeignete) Quantisierung der Zufallsgröße&nbsp; $X$&nbsp; mit der Quantisierungsstufenzahl&nbsp; $M$  <br>&#8658; &nbsp; Quantisierungsintervallbreite&nbsp; ${\it \Delta} = 0.5/M$.
-* Die Zufallsgröße $Z_{Y,\hspace{0.05cm}M}$ ergibt sich nach Quantisierung der Zufallsgröße $Y$ mit der Quantisierungsstufenzahl $M$ &nbsp; &#8658; &nbsp; Quantisierungsintervallbreite ${\it \Delta} = 2/M$.
+* Die Zufallsgröße&nbsp; $Z_{Y,\hspace{0.05cm}M}$&nbsp; ergibt sich nach Quantisierung der Zufallsgröße&nbsp; $Y$&nbsp; mit der Quantisierungsstufenzahl&nbsp; $M$ &nbsp; <br>&#8658; &nbsp; Quantisierungsintervallbreite&nbsp; ${\it \Delta} = 2/M$.
-Die Wahrscheinlichkeitsdichtefunktionen dieser diskreten Zufallsgrößen setzen sich jeweils aus $M$ Diracfunktionen zusammen, deren Impulsgewichte durch die Intervallflächen der zugehörigen wertkontinuierlichen Zufallsgrößen gegeben sind.
+Die Wahrscheinlichkeitsdichtefunktionen dieser diskreten Zufallsgrößen setzen sich jeweils aus&nbsp; $M$&nbsp; Diracfunktionen zusammen, deren Impulsgewichte durch die Intervallflächen der zugehörigen wertkontinuierlichen Zufallsgrößen gegeben sind.
-Daraus lassen sich die Entropien $H(Z_{X,\hspace{0.05cm}M})$ und $H(Z_{Y,\hspace{0.05cm}M})$ in herkömmlicher Weise entsprechend dem Kapitel&nbsp; [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Wahrscheinlichkeitsfunktion_und_Entropie|Wahrscheinlichkeitsfunktion und Entropie]] bestimmen.
+Daraus lassen sich die Entropien&nbsp; $H(Z_{X,\hspace{0.05cm}M})$&nbsp; und&nbsp; $H(Z_{Y,\hspace{0.05cm}M})$&nbsp; in herkömmlicher Weise entsprechend dem Kapitel&nbsp; [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Wahrscheinlichkeitsfunktion_und_Entropie|Wahrscheinlichkeitsfunktion und Entropie]]&nbsp; bestimmen.
-Im Abschnitt [[Informationstheorie/Differentielle_Entropie#Entropie_wertkontinuierlicher_Zufallsgr.C3.B6.C3.9Fen_nach_Quantisierung|Entropie wertkontinuierlicher Zufallsgrößen nach Quantisierung]] wurde auch eine Näherung angegeben. Beispielsweise gilt:
+Im Abschnitt&nbsp; [[Informationstheorie/Differentielle_Entropie#Entropie_wertkontinuierlicher_Zufallsgr.C3.B6.C3.9Fen_nach_Quantisierung|Entropie wertkontinuierlicher Zufallsgrößen nach Quantisierung]]&nbsp; wurde auch eine Näherung angegeben.&nbsp; Beispielsweise gilt:
 :$$H(Z_{X, \hspace{0.05cm}M}) \approx  -{\rm log}_2 \hspace{0.1cm} ({\it \Delta}) + h(X)\hspace{0.05cm}. $$
-*Sie werden im Laufe der Aufgabe feststellen, dass bei rechteckförmiger WDF &nbsp; &#8658; &nbsp; Gleichverteilung diese &bdquo;Näherung&rdquo; genau das gleiche Ergebnis liefert wie die direkte Berechnung.
+*Im Laufe der Aufgabe wird sich zeigen, dass bei rechteckförmiger WDF &nbsp; &#8658; &nbsp; Gleichverteilung diese &bdquo;Näherung&rdquo; das gleiche Ergebnis liefert wie die direkte Berechnung.
-*Aber im allgemeinen Fall &ndash; so im [[Informationstheorie/Differentielle_Entropie#Entropie_wertkontinuierlicher_Zufallsgr.C3.B6.C3.9Fen_nach_Quantisierung|$\text{Beispiel 2}$]] mit dreieckförmiger WDF &ndash; stellt obige Gleichung tatsächlich nur eine Näherung dar, die erst im Grenzfall ${\it \Delta} \to 0$ mit der tatsächlichen Entropie  $H(Z_{X,\hspace{0.05cm}M})$ übereinstimmt.
+*Aber im allgemeinen Fall &ndash; so im&nbsp; [[Informationstheorie/Differentielle_Entropie#Entropie_wertkontinuierlicher_Zufallsgr.C3.B6.C3.9Fen_nach_Quantisierung|$\text{Beispiel 2}$]]&nbsp; mit dreieckförmiger WDF &ndash; stellt obige Gleichung tatsächlich nur eine Näherung dar, die erst im Grenzfall&nbsp; ${\it \Delta} \to 0$&nbsp; mit der tatsächlichen Entropie&nbsp;  $H(Z_{X,\hspace{0.05cm}M})$&nbsp; übereinstimmt.
@@ Zeile 30: / Zeile 33: @@
 ''Hinweise:''
-*Die Aufgabe gehört zum  Kapitel [[Informationstheorie/Differentielle_Entropie|Differentielle Entropie]].
+*Die Aufgabe gehört zum  Kapitel&nbsp; [[Informationstheorie/Differentielle_Entropie|Differentielle Entropie]].
-*Nützliche Hinweise zur Lösung dieser Aufgabe finden Sie insbesondere auf der Seite  [[Informationstheorie/Differentielle_Entropie#Entropie_wertkontinuierlicher_Zufallsgr.C3.B6.C3.9Fen_nach_Quantisierung|Entropie wertkontinuierlicher Zufallsgrößen nach Quantisierung]] .
+*Nützliche Hinweise zur Lösung dieser Aufgabe finden Sie insbesondere auf der Seite&nbsp;  [[Informationstheorie/Differentielle_Entropie#Entropie_wertkontinuierlicher_Zufallsgr.C3.B6.C3.9Fen_nach_Quantisierung|Entropie wertkontinuierlicher Zufallsgrößen nach Quantisierung]] .
@@ Zeile 39: / Zeile 42: @@
 <quiz display=simple>
-{Berechnen Sie die differentielle Entropie $h(X)$.
+{Berechnen Sie die differentielle Entropie&nbsp; $h(X)$.
 |type="{}"}
 $ h(X) \ = \ $ { -1.03--0.97 } $\ \rm bit$
@@ Zeile 47: / Zeile 50: @@
 $ h(Y) \ = \ $  { 1 3% } $\ \rm bit$
-{Berechnen Sie die Entropie der wertdiskreten Zufallsgrößen $Z_{X,\hspace{0.05cm}M=4}$ <u>nach der direkten Methode</u>.
+{Berechnen Sie die Entropie der wertdiskreten Zufallsgrößen&nbsp; $Z_{X,\hspace{0.05cm}M=4}$&nbsp; nach der direkten Methode</u>.
 |type="{}"}
 $H(Z_{X,\hspace{0.05cm}M=4})\ = \ $ { 2 3% } $\ \rm bit$
-{Berechnen Sie die Entropie der wertdiskreten Zufallsgrößen $Z_{X,\hspace{0.05cm}M=4}$ <u>mit der angegebenen Näherung</u>.
+{Berechnen Sie die Entropie der wertdiskreten Zufallsgrößen&nbsp; $Z_{X,\hspace{0.05cm}M=4}$&nbsp; mit der angegebenen Näherung</u>.
 |type="{}"}
 $H(Z_{X,\hspace{0.05cm}M=4})\ = \ $ { 2 3% } $\ \rm bit$
-{Berechnen Sie die Entropie der wertdiskreten Zufallsgröße $Z_{Y,\hspace{0.05cm}M=4}$ <u>mit der angegebenen Näherung</u>.
+{Berechnen Sie die Entropie der wertdiskreten Zufallsgröße&nbsp; $Z_{Y,\hspace{0.05cm}M=4}$&nbsp; mit der angegebenen Näherung</u>.
 |type="{}"}
 $H(Z_{Y,\hspace{0.05cm}M=4})\ = \ $ { 2 3% } $\ \rm bit$
-{Berechnen Sie die Entropie der wertdiskreten Zufallsgröße $Z_{Y,\hspace{0.05cm}M=8}$ <u>mit der angegebenen Näherung</u>.
+{Berechnen Sie die Entropie der wertdiskreten Zufallsgröße&nbsp; $Z_{Y,\hspace{0.05cm}M=8}$&nbsp; mit der angegebenen Näherung</u>.
 |type="{}"}
 $H(Z_{Y,\hspace{0.05cm}M=8})\ = \ $ { 3 3% } $\ \rm bit$
@@ Zeile 65: / Zeile 68: @@
 {Welche der folgenden Aussagen sind zutreffend?
 |type="[]"}
-+ Die Entropie einer wertdiskreten Zufallsgröße $Z$ ist stets $H(Z) \ge 0$.
++ Die Entropie einer wertdiskreten Zufallsgröße&nbsp; $Z$&nbsp; ist stets&nbsp; $H(Z) \ge 0$.
-- Die differenzielle Entropie einer wertkontinuierlichen Zufallsgröße $X$ ist stets $h(X) \ge 0$.
+- Die differenzielle Entropie einer wertkontinuierlichen Zufallsgröße&nbsp; $X$&nbsp; ist stets&nbsp; $h(X) \ge 0$.

@@ Zeile 120: / Zeile 120: @@
 ** $h(X) < 0$ (Teilaufgabe 1),
 ** $h(X) > 0$ (Teilaufgabe 2), oder auch
-**$h(X) = 0$  (zum Beispiel für $x_{\rm min} = 0$ und  $x_{\rm max} = 1$.
+**$h(X) = 0$  (zum Beispiel für &nbsp;$x_{\rm min} = 0$&nbsp; und  &nbsp;$x_{\rm max} = 1$.
 {{ML-Fuß}}

@@ Zeile 74: / Zeile 74: @@
 ===Musterlösung===
 {{ML-Kopf}}
-'''(1)'''&nbsp; Gemäß der entsprechenden Theorieseite gilt mit <i>x</i><sub>min</sub> = 0 und <i>x</i><sub>max</sub> = 1/2:
+'''(1)'''&nbsp; Gemäß der entsprechenden Theorieseite gilt mit &nbsp;$x_{\rm min} = 0$&nbsp; und &nbsp;$x_{\rm max} = 1/2$:
 :$$h(X) = {\rm log}_2 \hspace{0.1cm} (x_{\rm max} - x_{\rm min}) = {\rm log}_2 \hspace{0.1cm} (1/2) \hspace{0.15cm}\underline{= - 1\,{\rm bit}}\hspace{0.05cm}.$$
-[[Datei:P_ID2879__Inf_A_4_4c.png|right|frame|Quantisierte Zufallsgröße  <i>Z<sub>X, M</sub></i><sub> = 4</sub>]]
+'''(2)'''&nbsp; Mit &nbsp;$y_{\rm min} = -1$&nbsp; und &nbsp;$y_{\rm max} = +1$&nbsp; ergibt sich dagegen für die differentielle Entropie der Zufallsgröße $Y$:
-'''(3)'''&nbsp; Die nebenstehende Grafik verdeutlicht die bestmögliche Quantisierung der Zufallsgröße <i>X</i> mit der Quantisierungsstufenzahl <i>M</i> = 4 &nbsp;&#8658;&nbsp; Zufallsgröße <i>Z<sub>X,\hspace{0.05cm} M</sub></i><sub> = 4</sub>:
+:$$h(Y) = {\rm log}_2 \hspace{0.1cm} (y_{\rm max} - y_{\rm min}) = {\rm log}_2 \hspace{0.1cm} (2) \hspace{0.15cm}\underline{= + 1\,{\rm bit}}\hspace{0.05cm}. $$
-*Die Intervallbreite ist hier gleich <i>&Delta;</i> = 0.5/4 = 1/8.
-*Die möglichen Werte (jeweils in der Intervallmitte) sind <i>z</i>&nbsp;&#8712; {0.0625,&nbsp;0.1875,&nbsp;0.3125,&nbsp;0.4375}.
-*Die <u>direkte Entropieberechnung</u> ergibt mit der Wahrscheinlichkeitsfunktion <i>P<sub>Z</sub></i>(<i>Z</i>)&nbsp;=&nbsp;[1/4,&nbsp;... ,&nbsp;1/4]:
+[[Datei:P_ID2879__Inf_A_4_4c.png|right|frame|Quantisierte Zufallsgröße  $Z_{X, \ M = 4}$]]
-:$$H(Z_{X, M = 4}) = {\rm log}_2 \hspace{0.1cm} (4) \hspace{0.15cm}\underline{= 2\,{\rm bit}}
+'''(3)'''&nbsp; Die nebenstehende Grafik verdeutlicht die bestmögliche Quantisierung der Zufallsgröße $X$ mit der Quantisierungsstufenzahl $M = 4$ &nbsp; &#8658; &nbsp; Zufallsgröße $Z_{X, \ M = 4})$:
 \hspace{0.05cm}.$$
 '''(4)'''&nbsp; Mit der <u>Näherung</u> erhält man unter Berücksichtigung des Ergebnisses der Teilaufgabe (1):
 :$$H(Z_{X,\hspace{0.05cm} M = 4}) \approx  -{\rm log}_2 \hspace{0.1cm} ({\it \Delta}) + h(X) =
 \,{\rm bit} +(- 1\,{\rm bit})\hspace{0.15cm}\underline{= 2\,{\rm bit}}\hspace{0.05cm}. $$
 <i>Hinweis:</i> Nur bei der Gleichverteilung liefert die Näherung genau das gleiche Ergebnis wie die direkte Berechnung, also die tatsächliche Entropie.
-[[Datei:P_ID2880__Inf_A_4_4d.png|right|frame|Quantisierte Zufallsgröße <i>Z<sub>Y, M</sub></i><sub> = 4</sub>]]
+[[Datei:P_ID2880__Inf_A_4_4d.png|right|frame|Quantisierte Zufallsgröße  $Z_{Y, \ M = 4}$]]
 <br>
-'''(5)'''&nbsp; Aus der zweiten Grafik erkennt man die Gemeinsamkeiten / Unterschiede zur Teilaufgabe (3):
+'''(5)'''&nbsp; Aus der zweiten Grafik erkennt man die Gemeinsamkeiten / Unterschiede zur Teilaufgabe '''(3)''':
-:* Der Quantisierungsparameter ist nun <i>&Delta;</i> = 2/4 = 1/2.
+:* Der Quantisierungsparameter ist nun &nbsp;${\it \Delta}  = 2/4 = 1/2$.
-:* Die möglichen Werte sind nun <i>z</i> &#8712; {&plusmn;0.75, &plusmn;0.25}.
+:* Die möglichen Werte sind nun &nbsp;$z \in \{\pm 0.75,\ \pm 0.25\}$.
-:* Somit liefert hier die &bdquo;Näherung&rdquo; (ebenso wie die direkte Berechnung) das Ergebnis:
+:* Somit liefert hier die &bdquo;Näherung&rdquo; (ebenso wie die direkte Berechnung) wieder das Ergebnis:
 :$$H(Z_{Y,\hspace{0.05cm} M = 4})   \approx    -{\rm log}_2 \hspace{0.1cm} ({\it \Delta}) + h(Y) =
 \,{\rm bit} + 1\,{\rm bit}\hspace{0.15cm}\underline{= 2\,{\rm bit}}\hspace{0.05cm}.$$
-[[Datei:P_ID2881__Inf_A_4_4e.png|right|frame|Quantisierte Zufallsgröße  <i>Z<sub>Y, M</sub></i><sub> = 8</sub>]]
-<br><br>
-'''(6)'''&nbsp; Im Gegensatz zur Teilaufgabe (5) gilt nun <i>&Delta;</i> = 1/4. Daraus folgt für die &bdquo;Näherung&rdquo;:
+[[Datei:P_ID2881__Inf_A_4_4e.png|right|frame|Quantisierte Zufallsgröße  $Z_{Y, \ M = 8}$]]
 :$$H(Z_{Y,\hspace{0.05cm} M = 8})   \approx    -{\rm log}_2 \hspace{0.1cm} ({\it \Delta}) + h(Y) =
 \,{\rm bit} + 1\,{\rm bit}\hspace{0.15cm}\underline{= 3\,{\rm bit}}\hspace{0.05cm}.$$
-Wieder gleiches  Ergebnis bei direkter Berechnung.
+Man erhält wieder das gleiche  Ergebnis wie bei der direkten Berechnung.
 '''(7)'''&nbsp; Richtig ist nur die <u>Aussage 1</u>:
-:* Die Entropie <i>H</i>(<i>Z</i>) einer diskreten Zufallsgröße <i>Z</i>&nbsp;=&nbsp;{<i>z</i><sub>1</sub>,&nbsp;... , <i>z<sub>M</sub></i>} kann nie negativ werden. Der Grenzfall <i>H</i>(<i>Z</i>) = 0 ergibt sich zum Beispiel für Pr(<i>Z</i>&nbsp;=&nbsp;<i>z</i><sub>1</sub>)&nbsp;=&nbsp;1 und Pr(<i>Z</i>&nbsp;=&nbsp;<i>z<sub>&mu;</sub></i>)&nbsp;=&nbsp;0&nbsp;für 2&nbsp;&#8804;&nbsp;<i>&mu;</i>&nbsp;&#8804;&nbsp;<i>M</i>.
+* Die Entropie $H(Z)$ einer diskreten Zufallsgröße $Z = \{z_1, \ \text{...} \ , z_M\}$ kann nie negativ werden.
-:* Dagegen kann die differentielle Entropie <i>h</i>(<i>X</i>) einer kontinuierlichen Zufallsgröße <i>X</i> negativ (Teilaufgabe 1), positiv (Teilaufgabe 2) oder auch <i>h</i>(<i>X</i>) = 0 ( zum Beispiel <i>x</i><sub>min</sub> = 0, <i>x</i><sub>max</sub> = 1) sein.
+* Dagegen kann die differentielle Entropie $h(X)$ einer wertkontinuierlichen Zufallsgröße $X$ wie folgt sein:
 {{ML-Fuß}}

← Nächstältere Version		Version vom 16. Oktober 2018, 14:04 Uhr
Zeile 22:		Zeile 22:

	*Sie werden im Laufe der Aufgabe feststellen, dass bei rechteckförmiger WDF   ⇒   Gleichverteilung diese &bdquo;Näherung” genau das gleiche Ergebnis liefert wie die direkte Berechnung.		*Sie werden im Laufe der Aufgabe feststellen, dass bei rechteckförmiger WDF   ⇒   Gleichverteilung diese &bdquo;Näherung” genau das gleiche Ergebnis liefert wie die direkte Berechnung.
−	*Aber im allgemeinen Fall – so im [[Informationstheorie/Differentielle_Entropie#Entropie_wertkontinuierlicher_Zufallsgr.C3.B6.C3.9Fen_nach_Quantisierung\|Beispiel 2 mit dreieckförmiger WDF]] – stellt obige Gleichung tatsächlich nur eine Näherung dar, die erst im Grenzfall ${\it \Delta} \to 0$ mit der tatsächlichen Entropie $H(Z_{X,\hspace{0.05cm}M})$ übereinstimmt.	+	*Aber im allgemeinen Fall – so im [[Informationstheorie/Differentielle_Entropie#Entropie_wertkontinuierlicher_Zufallsgr.C3.B6.C3.9Fen_nach_Quantisierung\|$\text{Beispiel 2}$]] mit dreieckförmiger WDF – stellt obige Gleichung tatsächlich nur eine Näherung dar, die erst im Grenzfall ${\it \Delta} \to 0$ mit der tatsächlichen Entropie $H(Z_{X,\hspace{0.05cm}M})$ übereinstimmt.

@@ Zeile 26: / Zeile 26: @@
 *Die Aufgabe gehört zum  Kapitel [[Informationstheorie/Differentielle_Entropie|Differentielle Entropie]].
 *Nützliche Hinweise zur Lösung dieser Aufgabe finden Sie insbesondere auf der Seite  [[Informationstheorie/Differentielle_Entropie#Entropie_wertkontinuierlicher_Zufallsgr.C3.B6.C3.9Fen_nach_Quantisierung|Entropiewertkontinuierlicher Zufallsgrößen nach Quantisierung]] .
-*Sollte die Eingabe des Zahlenwertes &bdquo;0&rdquo; erforderlich sein, so geben Sie bitte &bdquo;0.&rdquo; ein.

← Nächstältere Version	Version vom 3. Januar 2018, 14:10 Uhr
(kein Unterschied)