Aufgaben:Aufgabe 1.2: Entropie von Ternärquellen - Versionsgeschichte

Guenter am 16. Juni 2021 um 14:54 Uhr

2021-06-16T14:54:03Z

Guenter am 16. Juni 2021 um 14:53 Uhr

2021-06-16T14:53:05Z

Guenter am 10. Januar 2020 um 14:54 Uhr

2020-01-10T14:54:57Z

Guenter am 12. Dezember 2019 um 14:51 Uhr

2019-12-12T14:51:13Z

Guenter am 12. Dezember 2019 um 14:41 Uhr

2019-12-12T14:41:29Z

Guenter am 18. September 2018 um 10:12 Uhr

2018-09-18T10:12:41Z

Guenter am 18. September 2018 um 10:02 Uhr

2018-09-18T10:02:02Z

Guenter am 18. September 2018 um 09:52 Uhr

2018-09-18T09:52:37Z

Mwiki-lnt: Textersetzung - „*Sollte die Eingabe des Zahlenwertes „0” erforderlich sein, so geben Sie bitte „0.” ein.“ durch „ “

2018-05-29T12:02:35Z

Textersetzung - „*Sollte die Eingabe des Zahlenwertes „0” erforderlich sein, so geben Sie bitte „0.” ein.“ durch „ “

Guenter: Guenter verschob die Seite Aufgaben:1.2 Entropie von Ternärquellen nach Aufgaben:Aufgabe 1.2: Entropie von Ternärquellen

2018-01-03T13:53:39Z

Guenter verschob die Seite 1.2 Entropie von Ternärquellen nach Aufgabe 1.2: Entropie von Ternärquellen

@@ Zeile 46: / Zeile 46: @@
 {Welche der folgenden Aussagen sind zutreffend, wenn man&nbsp;  $\rm R$,&nbsp; $\rm G$&nbsp; und&nbsp;  $\rm S$&nbsp; durch die Zahlenwerte&nbsp; $-1$, &nbsp;$0$ &nbsp;und&nbsp; $+1$&nbsp; darstellt?
-|type="[]"}
+|type="()"}
 - Es ergibt sich eine kleinere Entropie.
 + Die Entropie bleibt gleich.

@@ Zeile 7: / Zeile 7: @@
 :$$H =  \sum_{\mu = 1}^M p_{\mu} \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{p_\mu}\hspace{0.05cm},\hspace{0.3cm}
   {\rm Pseudoeinheit\hspace{-0.15cm}: \hspace{0.15cm}bit}\hspace{0.05cm}.$$
-Hierbei bezeichnen die&nbsp; $p_\mu$&nbsp; die Auftrittswahrscheinlichkeiten der einzelnen Symbole bzw. Ereignisse.&nbsp; Im vorliegenden Beispiel werden die Ereignisse mit&nbsp; $\rm R$(ot),&nbsp; $\rm G$(rün)&nbsp; und&nbsp; $\rm S$(chwarz)&nbsp; bezeichnet.
+Hierbei bezeichnen die&nbsp; $p_\mu$&nbsp; die Auftrittswahrscheinlichkeiten der einzelnen Symbole bzw. Ereignisse.&nbsp; Im vorliegenden Beispiel werden die Ereignisse&nbsp; $\rm R$(ot),&nbsp; $\rm G$(rün)&nbsp; und&nbsp; $\rm S$(chwarz)&nbsp; genannt.
 *Bei einer binären Quelle mit den Auftrittswahrscheinlichkeiten&nbsp; $p$ &nbsp;und&nbsp; $1-p$&nbsp; kann hierfür geschrieben werden:
@@ Zeile 16: / Zeile 16: @@
-Betrachtet werden in dieser Aufgabe zwei Ternärquellen mit den Symbolwahrscheinlichkeiten gemäß der obigen Grafik:
+Betrachtet werden in dieser Aufgabe zwei Ternärquellen mit den Symbolwahrscheinlichkeiten gemäß der Grafik:
 * die Quelle&nbsp; $\rm Q_1$ mit&nbsp; $p_{\rm G }= 1/2$, &nbsp;$p_{\rm S }= 1/3$ &nbsp;und&nbsp; $p_{\rm R }= 1/6$,
@@ Zeile 22: / Zeile 22: @@
-Die Ternärquelle&nbsp; $\rm Q_2$&nbsp; lässt sich auch auf das Roulette anwenden, wenn ein Spieler nur auf die Felder&nbsp; $\rm R$,&nbsp; $\rm S$chwarz&nbsp; und $\rm G$rün&nbsp; (die &bdquo;Null&rdquo;) setzt.&nbsp; Dieser Spieltyp wird im Fragebogen mit&nbsp; $\text{Roulette 1}$&nbsp; bezeichnet.
+Die Ternärquelle&nbsp; $\rm Q_2$&nbsp; lässt sich auch auf das Roulette anwenden, wenn ein Spieler nur auf die Felder&nbsp; $\rm R$ot,&nbsp; $\rm S$chwarz&nbsp; und $\rm G$rün&nbsp; (die &bdquo;Null&rdquo;) setzt.&nbsp; Dieser Spieltyp wird im Fragebogen mit&nbsp; $\text{Roulette 1}$&nbsp; bezeichnet.
 Dagegen weist&nbsp; $\text{Roulette 2}$&nbsp; darauf hin, dass der Spieler auf einzelne Zahlen&nbsp; $(0$, ... , $36)$&nbsp; setzt.

@@ Zeile 86: / Zeile 86: @@
 *Es ist dabei egal, welche Zahlenwerte oder physikalische Größen man den einzelnen Symbolen zuordnet.
 *Anders ist es bei Mittelwerten oder der AKF&ndash;Berechnung.&nbsp; Werden nur Symbole angegeben, so kann man hierfür keine Momente angeben.
-*Außerdem hängen die Mittelwerte, Autokorrelation, usw. davon ab, ob man die Zuordnung bipolar&nbsp; $(-1, \hspace{0.10cm}0, \hspace{0.05cm}+1)$&nbsp; oder unipolar&nbsp; $($z. B.:&nbsp; $(0, \hspace{0.05cm}1, \hspace{0.05cm}2)$&nbsp; vereinbart.
+*Außerdem hängen die Mittelwerte, Autokorrelation, usw. davon ab, ob man die Zuordnung bipolar&nbsp; $(-1, \hspace{0.10cm}0, \hspace{0.05cm}+1)$&nbsp; oder unipolar&nbsp;  $(0, \hspace{0.05cm}1, \hspace{0.05cm}2)$&nbsp; vereinbart.

@@ Zeile 77: / Zeile 77: @@
 ===Musterlösung===
 {{ML-Kopf}}
-'''(1)'''&nbsp; Mit den Auftrittswahrscheinlichkeiten $1/2$, $1/3$ und $1/6$ erhält man folgenden Entropiewert:
+'''(1)'''&nbsp; Mit den Auftrittswahrscheinlichkeiten&nbsp; $1/2$,&nbsp; $1/3$&nbsp; und&nbsp; $1/6$&nbsp; erhält man folgenden Entropiewert:
 :$$H \hspace{0.1cm}  =  \hspace{0.1cm}  1/2 \cdot {\rm log}_2\hspace{0.1cm}(2) +1/3 \cdot {\rm log}_2\hspace{0.1cm}(3) +1/6 \cdot {\rm log}_2\hspace{0.1cm}(6) =(1/2 + 1/6)\cdot {\rm log}_2\hspace{0.1cm}(2) +  (1/3 + 1/6)\cdot {\rm log}_2\hspace{0.1cm}(3) \hspace{0.15cm}\underline {\approx 1.46 \, {\rm bit}} \hspace{0.05cm}.$$
@@ Zeile 84: / Zeile 85: @@
 * Die Entropie hängt nur von den Auftrittswahrscheinlichkeiten ab.
 *Es ist dabei egal, welche Zahlenwerte oder physikalische Größen man den einzelnen Symbolen zuordnet.
-*Anders ist es bei Mittelwerten oder der AKF&ndash;Berechnung. Werden nur Symbole angegeben, so kann man hierfür keine Momente angeben.
+*Anders ist es bei Mittelwerten oder der AKF&ndash;Berechnung.&nbsp; Werden nur Symbole angegeben, so kann man hierfür keine Momente angeben.
-*Außerdem hängen die Mittelwerte, Autokorrelation, usw. davon ab, ob man die Zuordnung bipolar $(-1, \hspace{0.05cm}0, \hspace{0.05cm}+1)$ oder unipolar (zum Beispiel: $(0, \hspace{0.05cm}1, \hspace{0.05cm}2)$ vereinbart.
+*Außerdem hängen die Mittelwerte, Autokorrelation, usw. davon ab, ob man die Zuordnung bipolar&nbsp; $(-1, \hspace{0.10cm}0, \hspace{0.05cm}+1)$&nbsp; oder unipolar&nbsp; $($z. B.:&nbsp; $(0, \hspace{0.05cm}1, \hspace{0.05cm}2)$&nbsp; vereinbart.
 '''(3)'''&nbsp; Die Entropie der Quelle $\rm Q_2$ lässt sich wie folgt ausdrücken:
 :$$H \hspace{0.1cm} =  \hspace{0.1cm} p \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{p}+ 2 \cdot \frac{1-p}{2}  \cdot {\rm log}_2\hspace{0.1cm}\frac {2}{1-p}= p \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{p}+ (1-p)  \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{1-p} + (1-p)\cdot {\rm log}_2\hspace{0.1cm}(2)= H_{\rm bin}(p) + 1-p \hspace{0.05cm}.$$
-Für $p = 0.5$ &nbsp;&nbsp;&#8658;&nbsp;&nbsp; $H_{\rm bin}(p) = 1$ ergibt sich $\underline{H = 1.5\hspace{0.05cm}\rm  bit}$.
+*Für&nbsp; $p = 0.5$ &nbsp;&nbsp;&#8658;&nbsp;&nbsp; $H_{\rm bin}(p) = 1$&nbsp; ergibt sich&nbsp; $\underline{H = 1.5\hspace{0.05cm}\rm  bit}$.
 '''(4)'''&nbsp; Die maximale Entropie einer gedächtnislosen Quelle mit dem Symbolumfang $M$ ergibt sich, wenn alle $M$ Symbole gleichwahrscheinlich sind.
 *Für den Sonderfall $M=3$ folgt daraus:
 :$$p_{\rm R} + p_{\rm G} + p_{\rm S} = 1 \hspace{0.3cm} \Rightarrow \hspace{0.3cm}
-  \underline {p = 1/3 = 0.333}\hspace{0.05cm}.$$
+  \underline {p = 1/3 \approx 0.333}\hspace{0.05cm}.$$
-*Damit erhält man mit dem Ergebnis der Teilaufgabe (3) die folgende Entropie:
+*Damit erhält man mit dem Ergebnis der Teilaufgabe&nbsp; '''(3)'''&nbsp; die folgende Entropie:
 :$$H = H_{\rm bin}(1/3) + 1-1/3 = 1/3 \cdot
 {\rm log}_2\hspace{0.1cm}(3) + 2/3 \cdot {\rm log}_2\hspace{0.1cm}(3/2) + 2/3 $$
@@ Zeile 106: / Zeile 109: @@
 '''(5)'''&nbsp; Das System $\text{Roulette 1}$ ist informationstheoretisch gleich der Konfiguration $\rm Q_2$ mit $p = 1/37$:
 :$$p_{\rm G} = p =  \frac{1}{37}\hspace{0.05cm},\hspace{0.2cm} p_{\rm R} = p_{\rm S} = \frac{1-p}{2} = \frac{18}{37} \hspace{0.05cm}.$$
-Damit erhält man mit dem Ergebnis der Teilaufgabe '''(3)''':
+*Damit erhält man mit dem Ergebnis der Teilaufgabe&nbsp; '''(3)''':
 :$$H = H_{\rm bin}(1/37) + \frac{36}{37} = \frac{1}{37} \cdot {\rm log}_2\hspace{0.1cm}(37) + \frac{36}{37} \cdot {\rm log}_2\hspace{0.1cm}(37) - \frac{36}{37} \cdot {\rm log}_2\hspace{0.1cm}36 + \frac{36}{37} =
     {\rm log}_2\hspace{0.1cm}(37) + \frac{36}{37} \cdot ( 1- {\rm log}_2\hspace{0.1cm}(36)) = 5.209 - 4.057  \hspace{0.15cm} \underline { = 1.152 \, {\rm bit}}
@@ Zeile 114: / Zeile 118: @@
 '''(6)'''&nbsp; Setzt man bei Roulette auf einzelne Zahlen &nbsp;  &#8658; &nbsp; Konfiguration $\text{Roulette 2}$, so sind alle Zahlen von $0$ bis $36$ gleichwahrscheinlich und man erhält:
 :$$H = {\rm log}_2\hspace{0.1cm}(37)   \hspace{0.15cm} \underline { = 5.209 \, {\rm bit}}
   \hspace{0.05cm}.$$

@@ Zeile 4: / Zeile 4: @@
 [[Datei:Inf_A_1_2_vers2.png|right|frame|Wahrscheinlichkeiten zweier Ternärquellen]]
-Die Entropie einer wertdiskreten gedächtnislosen Nachrichtenquelle mit $M$ möglichen Symbolen lautet:
+Die Entropie einer wertdiskreten gedächtnislosen Nachrichtenquelle mit&nbsp; $M$&nbsp; möglichen Symbolen lautet:
 :$$H =  \sum_{\mu = 1}^M p_{\mu} \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{p_\mu}\hspace{0.05cm},\hspace{0.3cm}
   {\rm Pseudoeinheit\hspace{-0.15cm}: \hspace{0.15cm}bit}\hspace{0.05cm}.$$
-Hierbei bezeichnen die $p_\mu$ die Auftrittswahrscheinlichkeiten der einzelnen Symbole bzw. Ereignisse. Im vorliegenden Beispiel werden die Ereignisse mit $\rm R$(ot), $\rm G$(rün) und $\rm S$(chwarz) bezeichnet.
+Hierbei bezeichnen die&nbsp; $p_\mu$&nbsp; die Auftrittswahrscheinlichkeiten der einzelnen Symbole bzw. Ereignisse.&nbsp; Im vorliegenden Beispiel werden die Ereignisse mit&nbsp; $\rm R$(ot),&nbsp; $\rm G$(rün)&nbsp; und&nbsp; $\rm S$(chwarz)&nbsp; bezeichnet.
-*Bei einer binären Quelle mit den Auftrittswahrscheinlichkeiten $p$ &nbsp;und&nbsp; $1-p$ &nbsp;kann hierfür geschrieben werden:
+*Bei einer binären Quelle mit den Auftrittswahrscheinlichkeiten&nbsp; $p$ &nbsp;und&nbsp; $1-p$&nbsp; kann hierfür geschrieben werden:
 :$$H = H_{\rm bin}(p) = p \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{p}+ (1-p) \cdot
 {\rm log}_2\hspace{0.1cm}\frac{1}{1-p}\hspace{0.05cm},\hspace{0.3cm}
   {\rm Pseudoeinheit\hspace{-0.15cm}: \hspace{0.15cm}bit}\hspace{0.05cm}.$$
-*Die Entropie einer mehrstufigen Quelle lässt sich häufig mit dieser &bdquo;binären Entropiefunktion&rdquo; $H_{\rm bin}(p)$  ausdrücken.
+*Die Entropie einer mehrstufigen Quelle lässt sich häufig mit dieser&nbsp; &bdquo;binären Entropiefunktion&rdquo;&nbsp; $H_{\rm bin}(p)$&nbsp;  ausdrücken.
 Betrachtet werden in dieser Aufgabe zwei Ternärquellen mit den Symbolwahrscheinlichkeiten gemäß der obigen Grafik:
-* die Quelle $\rm Q_1$ mit&nbsp; $p_{\rm G }= 1/2$, &nbsp;$p_{\rm S }= 1/3$ &nbsp;und&nbsp; $p_{\rm R }= 1/6$,
+* die Quelle&nbsp; $\rm Q_1$ mit&nbsp; $p_{\rm G }= 1/2$, &nbsp;$p_{\rm S }= 1/3$ &nbsp;und&nbsp; $p_{\rm R }= 1/6$,
-* die Quelle $\rm Q_2$ mit&nbsp; $p_{\rm G }= p$ &nbsp;sowie&nbsp;  $p_{\rm S } = p_{\rm R } = (1-p)/2$.
+* die Quelle&nbsp; $\rm Q_2$ mit&nbsp; $p_{\rm G }= p$ &nbsp;sowie&nbsp;  $p_{\rm S } = p_{\rm R } = (1-p)/2$.
@@ Zeile 30: / Zeile 33: @@
 ''Hinweis:''
-*Die Aufgabe gehört zum  Kapitel [[Informationstheorie/Gedächtnislose_Nachrichtenquellen|Gedächtnislose Nachrichtenquellen]].
+*Die Aufgabe gehört zum  Kapitel&nbsp; [[Informationstheorie/Gedächtnislose_Nachrichtenquellen|Gedächtnislose Nachrichtenquellen]].
@@ Zeile 37: / Zeile 40: @@
 <quiz display=simple>
-{Welche Entropie $H$ besitzt die Quelle $\rm \underline{Q_1}$?
+{Welche Entropie&nbsp; $H$&nbsp; besitzt die Quelle&nbsp; $\rm \underline{Q_1}$?
 |type="{}"}
 $H \ = \ $ { 1.46 3% } $\ \rm bit$
-{Welche der folgenden Aussagen sind zutreffend, wenn man  $\rm R$, $\rm G$ und  $\rm S$ durch die Zahlenwerte $-1$, &nbsp;$0$ &nbsp;und&nbsp; $+1$ darstellt?
+{Welche der folgenden Aussagen sind zutreffend, wenn man&nbsp;  $\rm R$,&nbsp; $\rm G$&nbsp; und&nbsp;  $\rm S$&nbsp; durch die Zahlenwerte&nbsp; $-1$, &nbsp;$0$ &nbsp;und&nbsp; $+1$&nbsp; darstellt?
 |type="[]"}
 - Es ergibt sich eine kleinere Entropie.
@@ Zeile 49: / Zeile 52: @@
-{Bestimmen Sie die Entropie der Quelle $\rm \underline{Q_2}$ unter Verwendung der binären Entropiefunktion $H_{\rm bin}(p)$. <br>Welcher Wert ergibt sich für $\underline{p = 0.5}$?
+{Bestimmen Sie die Entropie der Quelle&nbsp; $\rm \underline{Q_2}$&nbsp; unter Verwendung der binären Entropiefunktion&nbsp; $H_{\rm bin}(p)$.&nbsp; Welcher Wert ergibt sich für&nbsp; $\underline{p = 0.5}$?
 |type="{}"}
 $H \ =  \ $ { 1.5 3% } $\ \rm bit$
-{Für welchen $p$&ndash;Wert  der Quelle $\rm \underline{Q_2}$ergibt sich die maximale Entropie: $H &#8594; H_\text{max}$?
+{Für welchen&nbsp; $p$&ndash;Wert  der Quelle&nbsp; $\rm \underline{Q_2}$&nbsp; ergibt sich die maximale Entropie:&nbsp; $H &#8594; H_\text{max}$?
 |type="{}"}
 $p \ =  \ $ { 0.333 3% }
-{Welche Entropie hat die Nachrichtenquelle $\text{Roulette 1}$, also hinsichtlich der Ereignisse $\rm R$ot,  $\rm S$chwarz und  $\rm G$rün (die &bdquo;Null&rdquo;)?
+{Welche Entropie hat die Nachrichtenquelle&nbsp; $\text{Roulette 1}$,&nbsp; also hinsichtlich der Ereignisse&nbsp; $\rm R$ot,&nbsp;  $\rm S$chwarz&nbsp; und&nbsp;  $\rm G$rün&nbsp; (die &bdquo;Null&rdquo;)?
 |type="{}"}
 $H \ = \ $ { 1.152 3% } $\ \rm bit$
-{Welche Entropie weist $\text{Roulette 2}$ auf, also  hinsichtlich der Zahlen $0$, ... , $36$?
+{Welche Entropie weist&nbsp; $\text{Roulette 2}$&nbsp; auf,&nbsp; also  hinsichtlich der Zahlen&nbsp; $0$, ... , $36$?
 |type="{}"}
 $H \ =  \ $ { 5.209 3% } $\ \rm bit$

@@ Zeile 27: / Zeile 27: @@
 ''Hinweise:''
 *Die Aufgabe gehört zum  Kapitel [[Informationstheorie/Gedächtnislose_Nachrichtenquellen|Gedächtnislose Nachrichtenquellen]].
-*Sollte die Eingabe des Zahlenwertes &bdquo;0&rdquo; erforderlich sein, so geben Sie bitte &bdquo;0.&rdquo; ein.