Aufgaben:Aufgabe 3.4: Entropie für verschiedene Wahrscheinlichkeiten - Versionsgeschichte

Guenter am 31. August 2021 um 09:54 Uhr

2021-08-31T09:54:39Z

Guenter am 31. August 2021 um 09:53 Uhr

2021-08-31T09:53:21Z

Guenter am 30. Januar 2020 um 15:04 Uhr

2020-01-30T15:04:34Z

Guenter am 30. Januar 2020 um 14:55 Uhr

2020-01-30T14:55:52Z

Guenter am 8. Oktober 2018 um 14:39 Uhr

2018-10-08T14:39:17Z

Guenter am 8. Oktober 2018 um 14:25 Uhr

2018-10-08T14:25:49Z

Guenter am 8. Oktober 2018 um 14:25 Uhr

2018-10-08T14:25:01Z

Mwiki-lnt: Textersetzung - „*Sollte die Eingabe des Zahlenwertes „0” erforderlich sein, so geben Sie bitte „0.” ein.“ durch „ “

2018-05-29T12:02:51Z

Textersetzung - „*Sollte die Eingabe des Zahlenwertes „0” erforderlich sein, so geben Sie bitte „0.” ein.“ durch „ “

Guenter: Guenter verschob die Seite Aufgaben:3.4 Entropie für verschiedene Wahrscheinlichkeiten nach Aufgaben:Aufgabe 3.4: Entropie für verschiedene Wahrscheinlichkeiten

2018-01-03T14:03:52Z

Guenter verschob die Seite 3.4 Entropie für verschiedene Wahrscheinlichkeiten nach Aufgabe 3.4: Entropie für verschiedene Wahrscheinlichkeiten

Guenter am 5. Juni 2017 um 10:55 Uhr

2017-06-05T10:55:13Z

@@ Zeile 23: / Zeile 23: @@
 ''Hinweise:''
-*Die Aufgabe gehört zum  Kapitel&nbsp; [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen|Einige Vorbemerkungen zu den 2D-Zufallsgrößen]].
+*Die Aufgabe gehört zum  Kapitel&nbsp; [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen|Einige Vorbemerkungen zu zweidimensionalen Zufallsgrößen]].
 *Insbesondere wird Bezug genommen auf die Seite&nbsp; [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Wahrscheinlichkeitsfunktion_und_Entropie|Wahrscheinlichkeitsfunktion und Entropie]].

@@ Zeile 43: / Zeile 43: @@
 $H_{\rm c}(X) \ = \ $ { 1.861 0.5% } $\ \rm bit$
-{ Welche Entropie erhält man, wenn alle Wahrscheinlichkeiten &nbsp;$(p_1, \ p_2 , \ p_3, \ p_4)$&nbsp; bestmöglich gewählt werden können?
+{ Welche Entropie erhält man, wenn alle Wahrscheinlichkeiten &nbsp;$(p_1, \ p_2 , \ p_3, \ p_4)$&nbsp; bestmöglich gewählt werden?
 |type="{}"}
 $H_{\rm max}(X) \ = \ $ { 2 1% } $\ \rm bit$

@@ Zeile 52: / Zeile 52: @@
 ===Musterlösung===
 {{ML-Kopf}}
-'''(1)'''&nbsp;  Mit $P_X(X) = \big [ 0.1, \ 0.2, \ 0.3, \ 0.4 \big ]$ erhält man für die Entropie:
+'''(1)'''&nbsp;  Mit&nbsp; $P_X(X) = \big [ 0.1, \ 0.2, \ 0.3, \ 0.4 \big ]$&nbsp; erhält man für die Entropie:
 :$$H_{\rm a}(X) =
 .1 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.1} +
@@ Zeile 62: / Zeile 62: @@
 '''(2)'''&nbsp; Die Entropie $H_{\rm b}(X)$ lässt sich als Summe zweier Anteile  $H_{\rm b1}(X)$ und $H_{\rm b2}(X)$  darstellen, mit:
 :$$H_{\rm b1}(X) =
 .1 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.1} +
@@ Zeile 70: / Zeile 71: @@
 (0.7-p_3) \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.7-p_3} \hspace{0.05cm}.$$
-Die zweite Funktion ist  maximal für $p_3 = p_4 = 0.35$. Ein ähnlicher Zusammenhang hat sich bei der binären Entropiefunktion ergeben. Damit erhält man:
+*Die zweite Funktion ist  maximal für&nbsp; $p_3 = p_4 = 0.35$.&nbsp; Ein ähnlicher Zusammenhang hat sich bei der binären Entropiefunktion ergeben.&nbsp;
 :$$H_{\rm b2}(X) = 2 \cdot
 p_3 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{p_3} =
-.7 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.35} = 1.060 \hspace{0.3cm}
+.7 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.35} = 1.060 $$
- \Rightarrow \hspace{0.3cm} H_{\rm b}(X) = H_{\rm b1}(X) + H_{\rm b2}(X) = 0.797 + 1.060 \hspace{0.15cm} \underline {= 1.857}  \hspace{0.05cm}.$$
+:$$ \Rightarrow \hspace{0.3cm} H_{\rm b}(X) = H_{\rm b1}(X) + H_{\rm b2}(X) = 0.797 + 1.060 \hspace{0.15cm} \underline {= 1.857}  \hspace{0.05cm}.$$
 '''(3)'''&nbsp; Analog zur Teilaufgabe '''(2)''' ergibt sich mit $p_1 = 0.1$ und $p_4 = 0.4$ das Maximum für $p_2 = p_3  = 0.25$:
 :$$H_{\rm c}(X) =
 .1 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.1} +
@@ Zeile 86: / Zeile 89: @@
 '''(4)'''&nbsp; Die maximale Entropie für den Symbolumfang $M=4$ ergibt sich bei gleichen Wahrscheinlichkeiten, also für $p_1 = p_2 = p_3 = p_4 = 0.25$:
 :$$H_{\rm max}(X) =
 {\rm log}_2 \hspace{0.1cm} M
 \hspace{0.15cm} \underline {= 2}  \hspace{0.05cm}.$$
-Die Differenz der Entropien entsprechend '''(4)''' und '''(3)''' ergibt ${\it \Delta} H(X) = 0.139 \ \rm bit$.  Hierbei gilt:
+*Die Differenz der Entropien entsprechend&nbsp; '''(4)'''&nbsp; und&nbsp; '''(3)'''&nbsp; ergibt&nbsp; ${\rm \Delta} H(X) = 0.139 \ \rm bit$.&nbsp;  Hierbei gilt:
-:$${\it \Delta}  H(X) = 1-
+:$${\rm \Delta}  H(X) = 1-
 .1 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.1} -
 .4 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.4}
   \hspace{0.05cm}.$$
-Mit der binären Entropiefunktion
+*Mit der binären Entropiefunktion
 :$$H_{\rm bin}(p) =
@@ Zeile 103: / Zeile 107: @@
 (1-p) \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{1-p}$$
-lässt sich hierfür auch schreiben:
+:lässt sich hierfür auch schreiben:
-:$${\it \Delta} H(X) = 0.5 \cdot \big [ 1- H_{\rm bin}(0.2) \big ] =
+:$${\rm \Delta} H(X) = 0.5 \cdot \big [ 1- H_{\rm bin}(0.2) \big ] =
 .5 \cdot \big [ 1- 0.722 \big ] = 0.139
   \hspace{0.05cm}.$$

@@ Zeile 3: / Zeile 3: @@
 }}
-[[Datei:P_ID2758__Inf_Z_3_3.png|right|frame|Wahrscheinlichkeitsfunktionen, jeweils mit $M = 4$]]
+[[Datei:P_ID2758__Inf_Z_3_3.png|right|frame|Wahrscheinlichkeitsfunktionen, jeweils mit&nbsp; $M = 4$&nbsp; Elementen]]
-In der ersten Zeile der nebenstehenden Tabelle ist die im Folgenden die mit $\rm (a)$ bezeichnete Wahrscheinlichkeitsfunktion angegeben. Für diese PMF $P_X(X) = \big [0.1, \ 0.2, \ 0.3, \ 0.4 \big ]$ soll  soll in der Teilaufgabe '''(1)''' die Entropie berechnet werden:
+In der ersten Zeile der nebenstehenden Tabelle ist die im Folgenden die mit&nbsp; $\rm (a)$&nbsp; bezeichnete Wahrscheinlichkeitsfunktion angegeben. Für diese PMF&nbsp; $P_X(X) = \big [0.1, \ 0.2, \ 0.3, \ 0.4 \big ]$&nbsp; soll  in der Teilaufgabe&nbsp; '''(1)'''&nbsp; die Entropie berechnet werden:
 :$$H_{\rm a}(X) = {\rm E} \big [ {\rm log}_2 \hspace{0.1cm} \frac{1}{P_{X}(X)}\big ]= - {\rm E} \big  [ {\rm log}_2 \hspace{0.1cm}{P_{X}(X)}\big ].$$
-Da hier der Logarithmus zur Basis 2 verwendet wird, ist die Pseudo–Einheit „bit” anzufügen.
+Da hier der Logarithmus zur Basis&nbsp; $2$&nbsp; verwendet wird, ist die Pseudo–Einheit „bit” anzufügen.
 In den weiteren Aufgaben sollen jeweils einige Wahrscheinlichkeiten variiert werden und zwar derart, dass sich jeweils die größtmögliche Entropie ergibt:
-* Durch geeignete Variation von &nbsp;$p_3$ &nbsp;und&nbsp; $p_4$ kommt man zur maximalen Entropie $H_{\rm b}(X)$ unter der Voraussetzung &nbsp;$p_1 = 0.1$ &nbsp;und&nbsp; $p_2 = 0.2$   &nbsp; &rArr; &nbsp; Teilaufgabe '''(2)'''.
+* Durch geeignete Variation von &nbsp;$p_3$ &nbsp;und&nbsp; $p_4$&nbsp; kommt man zur maximalen Entropie&nbsp; $H_{\rm b}(X)$&nbsp; unter der Voraussetzung &nbsp;$p_1 = 0.1$ &nbsp;und&nbsp; $p_2 = 0.2$   &nbsp; &rArr; &nbsp; Teilaufgabe&nbsp; '''(2)'''.
-* Durch geeignete Variation von &nbsp;$p_2$ &nbsp;und&nbsp; $p_3$ kommt man zur maximalen Entropie $H_{\rm c}(X)$ unter der Voraussetzung &nbsp;$p_1 = 0.1$ &nbsp;und&nbsp; $p_4 = 0.4$ &nbsp; &rArr; &nbsp; Teilaufgabe '''(3)'''.
+* Durch geeignete Variation von &nbsp;$p_2$ &nbsp;und&nbsp; $p_3$ kommt man zur maximalen Entropie&nbsp; $H_{\rm c}(X)$&nbsp; unter der Voraussetzung &nbsp;$p_1 = 0.1$ &nbsp;und&nbsp; $p_4 = 0.4$ &nbsp; &rArr; &nbsp; Teilaufgabe&nbsp; '''(3)'''.
-* In der Teilaufgabe '''(4)''' sind alle vier Parameter zur Variation freigegeben, die entsprechend der maximalen Entropie &nbsp; &rArr; &nbsp; $H_{\rm max}(X)$  zu bestimmen sind.
+* In der Teilaufgabe&nbsp; '''(4)'''&nbsp; sind alle vier Parameter zur Variation freigegeben, die entsprechend der maximalen Entropie &nbsp; &rArr; &nbsp; $H_{\rm max}(X)$&nbsp;  zu bestimmen sind.
@@ Zeile 28: / Zeile 31: @@
 <quiz display=simple>
-{Zu welcher Entropie führt die Wahrscheinlichkeitsfunktion $P_X(X) = \big [ 0.1, \ 0.2, \ 0.3, \ 0.4 \big ]$ ?
+{Zu welcher Entropie führt die Wahrscheinlichkeitsfunktion&nbsp; $P_X(X) = \big [ 0.1, \ 0.2, \ 0.3, \ 0.4 \big ]$ ?
 |type="{}"}
 $H_{\rm a}(X) \ = \ $ { 1.846 0.5% } $\ \rm bit$
-{Es gelte nun allgemein $P_X(X) = \big [ 0.1, \ 0.2, \ p_3, \ p_4\big ]$. Welche Entropie erhält man, wenn $p_3$ und $p_4$ bestmöglich gewählt werden?
+{Es gelte nun allgemein&nbsp; $P_X(X) = \big [ 0.1, \ 0.2, \ p_3, \ p_4\big ]$.&nbsp; Welche Entropie erhält man, wenn&nbsp; $p_3$&nbsp; und&nbsp; $p_4$&nbsp; bestmöglich gewählt werden?
 |type="{}"}
 $H_{\rm b}(X) \ = \ $ { 1.857 0.5% } $\ \rm bit$
-{ Nun gelte $P_X(X) = \big [ 0.1, \ p_2, \ p_3, \ 0.4 \big ]$. Welche Entropie erhält man, wenn $p_2$ und $p_3$ bestmöglich gewählt werden?
+{ Nun gelte&nbsp; $P_X(X) = \big [ 0.1, \ p_2, \ p_3, \ 0.4 \big ]$.&nbsp; Welche Entropie erhält man, wenn&nbsp; $p_2$&nbsp; und&nbsp; $p_3$&nbsp; bestmöglich gewählt werden?
 |type="{}"}
 $H_{\rm c}(X) \ = \ $ { 1.861 0.5% } $\ \rm bit$
-{ Welche Entropie erhält man, wenn alle Wahrscheinlichkeiten ($p_1, \ p_2 , \ p_3, \ p_4$) bestmöglich gewählt werden Können ?
+{ Welche Entropie erhält man, wenn alle Wahrscheinlichkeiten &nbsp;$(p_1, \ p_2 , \ p_3, \ p_4)$&nbsp; bestmöglich gewählt werden können?
 |type="{}"}
 $H_{\rm max}(X) \ = \ $ { 2 1% } $\ \rm bit$

@@ Zeile 49: / Zeile 49: @@
 ===Musterlösung===
 {{ML-Kopf}}
-'''(1)'''&nbsp;  Mit $P_X(X) = [ 0.1, 0.2, 0.3, 0.4]$ erhält man für die Entropie:
+'''(1)'''&nbsp;  Mit $P_X(X) = \big [ 0.1, \ 0.2, \ 0.3, \ 0.4 \big ]$ erhält man für die Entropie:
 :$$H_{\rm a}(X) =
 .1 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.1} +
@@ Zeile 57: / Zeile 57: @@
 \hspace{0.15cm} \underline {= 1.846}  \hspace{0.05cm}.$$
 Hier (und bei den anderen Aufgaben) ist jeweils die  Pseudo–Einheit „bit” anzufügen.
 '''(2)'''&nbsp; Die Entropie $H_{\rm b}(X)$ lässt sich als Summe zweier Anteile  $H_{\rm b1}(X)$ und $H_{\rm b2}(X)$  darstellen, mit:
@@ Zeile 70: / Zeile 71: @@
 :$$H_{\rm b2}(X) = 2 \cdot
 p_3 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{p_3} =
-.7 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.35} = 1.060$$
+.7 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.35} = 1.060 \hspace{0.3cm}
-:$$\Rightarrow \hspace{0.3cm} H_{\rm b}(X) = H_{\rm b1}(X) + H_{\rm b2}(X) = 0.797 + 1.060 \hspace{0.15cm} \underline {= 1.857}  \hspace{0.05cm}.$$
+ \Rightarrow \hspace{0.3cm} H_{\rm b}(X) = H_{\rm b1}(X) + H_{\rm b2}(X) = 0.797 + 1.060 \hspace{0.15cm} \underline {= 1.857}  \hspace{0.05cm}.$$
-'''(3)'''&nbsp; Analog zur Teilaufgabe (2) ergibt sich mit $p_1 = 0.1$, $p_4 = 0.4$ das Maximum für $p_2 = p_3 = p_3 = 0.25$:
+'''(3)'''&nbsp; Analog zur Teilaufgabe '''(2)''' ergibt sich mit $p_1 = 0.1$ und $p_4 = 0.4$ das Maximum für $p_2 = p_3  = 0.25$:
 :$$H_{\rm c}(X) =
 .1 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.1} +
@@ Zeile 82: / Zeile 83: @@
-'''(4)'''&nbsp; Die maximale Entropie für den Symbolumfang $M=4$ ergibt sich bei gleichen Wahrscheinlichkeiten ( $p_1 = p_2 = p_3 = p_4 = 0.25$):
+'''(4)'''&nbsp; Die maximale Entropie für den Symbolumfang $M=4$ ergibt sich bei gleichen Wahrscheinlichkeiten, also für $p_1 = p_2 = p_3 = p_4 = 0.25$:
 :$$H_{\rm max}(X) =
 {\rm log}_2 \hspace{0.1cm} M
 \hspace{0.15cm} \underline {= 2}  \hspace{0.05cm}.$$
-Die Differenz der Entropien entsprechend (4) und (3) ergibt ${\it \Delta} H(X) = 0.139 \ \rm bit$.  Hierbei gilt:
+Die Differenz der Entropien entsprechend '''(4)''' und '''(3)''' ergibt ${\it \Delta} H(X) = 0.139 \ \rm bit$.  Hierbei gilt:
 :$${\it \Delta}  H(X) = 1-
 .1 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.1} -
@@ Zeile 95: / Zeile 96: @@
 Mit der binären Entropiefunktion
-$$H_{\rm bin}(p) =
+:$$H_{\rm bin}(p) =
 p \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{p} +
 (1-p) \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{1-p}$$
@@ Zeile 101: / Zeile 102: @@
 lässt sich hierfür auch schreiben:
-$${\it \Delta} H(X) = 0.5 \cdot \left [ 1- H_{\rm bin}(0.2) \right ] =
+:$${\it \Delta} H(X) = 0.5 \cdot \big [ 1- H_{\rm bin}(0.2) \big ] =
-.5 \cdot \left [ 1- 0.722 \right ] = 0.139
+.5 \cdot \big [ 1- 0.722 \big ] = 0.139
   \hspace{0.05cm}.$$

@@ Zeile 18: / Zeile 18: @@
 *Die Aufgabe gehört zum  Kapitel [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen|Einige Vorbemerkungen zu den 2D-Zufallsgrößen]].
 *Insbesondere wird Bezug genommen auf die Seite [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Wahrscheinlichkeitsfunktion_und_Entropie|Wahrscheinlichkeitsfunktion undEntropie]].
-*Sollte die Eingabe des Zahlenwertes &bdquo;0&rdquo; erforderlich sein, so geben Sie bitte &bdquo;0.&rdquo; ein.

← Nächstältere Version	Version vom 3. Januar 2018, 14:03 Uhr
(kein Unterschied)

← Nächstältere Version		Version vom 5. Juni 2017, 10:55 Uhr
Zeile 112:		Zeile 112:


−	[[Category:Aufgaben zu Informationstheorie\|^3.1 ~~Vorbemerkungen~~ zu 2D-Zufallsgrößen^]]	+	[[Category:Aufgaben zu Informationstheorie\|^3.1 Allgemeines zu 2D-Zufallsgrößen^]]