Aufgaben:Aufgabe 4.5Z: Nochmals Transinformation - Versionsgeschichte

Guenter am 2. Oktober 2021 um 11:44 Uhr

2021-10-02T11:44:48Z

Guenter am 2. Oktober 2021 um 11:35 Uhr

2021-10-02T11:35:18Z

Guenter am 12. Februar 2020 um 16:05 Uhr

2020-02-12T16:05:06Z

Guenter am 12. Februar 2020 um 15:56 Uhr

2020-02-12T15:56:13Z

Guenter am 18. Oktober 2018 um 08:49 Uhr

2018-10-18T08:49:51Z

Guenter am 18. Oktober 2018 um 08:15 Uhr

2018-10-18T08:15:11Z

Guenter am 18. Oktober 2018 um 08:14 Uhr

2018-10-18T08:14:49Z

Mwiki-lnt: Textersetzung - „\\sSollte die Eingabe des Zahlenwertes „0” erforderlich sein, so geben Sie bitte „0\.” ein.“ durch „ “

2018-05-29T12:03:53Z

Textersetzung - „\*\s*Sollte die Eingabe des Zahlenwertes „0” erforderlich sein, so geben Sie bitte „0\.” ein.“ durch „ “

Guenter: Guenter verschob die Seite Aufgaben:4.5Z Nochmals Transinformation nach Aufgaben:Aufgabe 4.5Z: Nochmals Transinformation

2018-01-03T14:11:05Z

Guenter verschob die Seite 4.5Z Nochmals Transinformation nach Aufgabe 4.5Z: Nochmals Transinformation

Guenter am 12. Juni 2017 um 07:52 Uhr

2017-06-12T07:52:56Z

← Nächstältere Version		Version vom 2. Oktober 2021, 11:44 Uhr
Zeile 107:		Zeile 107:


−	'''(3)'''  Die Transinformation kann auch in der Form  $I(X;Y) = h(Y \hspace{-0.05cm}\mid \hspace{-0.05cm} X~~) - h(Y~~)$  geschrieben werden:	+	'''(3)'''  Die Transinformation kann auch in der Form  $I(X;Y) = h(Y)-h(Y \hspace{-0.05cm}\mid \hspace{-0.05cm} X) $  geschrieben werden:
	:$$h(Y \hspace{-0.05cm}\mid \hspace{-0.05cm} X) = h(Y) - I(X;Y) = 1 \,{\rm nat} - 0.5 \,{\rm nat} \hspace{0.15cm}\underline{= 0.5\,{\rm nat}= 0.721\,{\rm bit}}\hspace{0.05cm}.$$		:$$h(Y \hspace{-0.05cm}\mid \hspace{-0.05cm} X) = h(Y) - I(X;Y) = 1 \,{\rm nat} - 0.5 \,{\rm nat} \hspace{0.15cm}\underline{= 0.5\,{\rm nat}= 0.721\,{\rm bit}}\hspace{0.05cm}.$$

@@ Zeile 4: / Zeile 4: @@
 [[Datei:P_ID2893__Inf_Z_4_5.png|right|frame|Gegebene Verbund–WDF und Schaubild der differentiellen Entropien]]
-Die Grafik zeigt oben die in dieser Aufgabe zu betrachtende Verbund&ndash;WDF&nbsp; $f_{XY}(x, y)$, die identisch ist mit der &bdquo;grünen&rdquo; Konstellation in der&nbsp; [[Aufgaben:Aufgabe_4.5:_Transinformation_aus_2D-WDF|Aufgabe 4.5]].
+Die Grafik zeigt oben die in dieser Aufgabe zu betrachtende Verbund&ndash;WDF&nbsp; $f_{XY}(x, y)$,&nbsp; die identisch ist mit der &bdquo;grünen&rdquo; Konstellation in der&nbsp; [[Aufgaben:Aufgabe_4.5:_Transinformation_aus_2D-WDF|Aufgabe 4.5]].
 *  $f_{XY}(x, y)$&nbsp; ist in der&nbsp; $y$&ndash;Richtung um den Faktor&nbsp; $3$&nbsp; vergrößert.
 *Im grün hinterlegten Definitionsgebiet ist die Verbund&ndash;WDF konstant gleich&nbsp; $C  = 1/F$, wobei&nbsp; $F$&nbsp; die Fläche des Parallelogramms angibt.

@@ Zeile 78: / Zeile 78: @@
 {{ML-Kopf}}
 '''(1)'''&nbsp; Da die Ergebnisse in &bdquo;nat&rdquo; gefordert sind,  bietet sich die Verwendung des natürlichen Logarithmus an:
-*Die Zufallsgröße $X$ ist gleichverteilt zwischen $0$ und $1/{\rm e}^2={\rm e}^{-2}$:
+*Die Zufallsgröße&nbsp; $X$&nbsp; ist gleichverteilt zwischen&nbsp; $0$&nbsp; und&nbsp; $1/{\rm e}^2={\rm e}^{-2}$:
 :$$h(X) =  {\rm ln} \hspace{0.1cm} (\hspace{0.05cm}{\rm e}^{-2}\hspace{0.05cm})
 \hspace{0.15cm}\underline{= -2\,{\rm nat}}\hspace{0.05cm}. $$
-*Die Zufallsgröße $Y$ ist dreieckverteilt zwischen $&plusmn;{\rm e}^{-0.5}$:
+*Die Zufallsgröße&nbsp; $Y$&nbsp; ist dreieckverteilt zwischen&nbsp; $&plusmn;{\rm e}^{-0.5}$:
 :$$h(Y) =  {\rm ln} \hspace{0.1cm} (\hspace{0.05cm}\sqrt{ {\rm e} } \cdot \sqrt{ {\rm e} } )
 =  {\rm ln} \hspace{0.1cm} (\hspace{0.05cm}{ { \rm e } }
@@ Zeile 88: / Zeile 88: @@
 * Die Fläche des Parallelogramms ergibt sich zu
 :$$F = A \cdot B = {\rm e}^{-2} \cdot {\rm e}^{0.5} = {\rm e}^{-1.5}\hspace{0.05cm}.$$
-Damit hat die 2D&ndash;WDF im grün hinterlegten Bereich die konstante Höhe $C = 1/F ={\rm e}^{1.5}$ und man erhält für die Verbundentropie:
+*Damit hat die 2D&ndash;WDF im grün hinterlegten Bereich die konstante Höhe&nbsp; $C = 1/F ={\rm e}^{1.5}$&nbsp; und man erhält für die Verbundentropie:
 :$$h(XY) =  {\rm ln} \hspace{0.1cm} (F)
 =  {\rm ln} \hspace{0.1cm} (\hspace{0.05cm}{\rm e}^{-1.5}\hspace{0.05cm})
 \hspace{0.15cm}\underline{= -1.5\,{\rm nat}}\hspace{0.05cm}.$$
-Daraus ergibt sich für die Transinformation:
+*Daraus ergibt sich für die Transinformation:
 :$$I(X;Y) = h(X) + h(Y) - h(XY) = -2 \,{\rm nat} + 1 \,{\rm nat} - (-1.5 \,{\rm nat} ) \hspace{0.15cm}\underline{= 0.5\,{\rm nat}}\hspace{0.05cm}.$$
 '''(2)'''&nbsp; Allgemein gilt der Zusammenhang $\log_2(x) = \ln(x)/\ln(2)$. Damit erhält man mit den Ergebnissen der Teilaufgabe (1):
 :$$h(X) \  =  \  \frac{-2\,{\rm nat}}{0.693\,{\rm nat/bit}}\hspace{0.35cm}\underline{= -2.886\,{\rm bit}}\hspace{0.05cm},$$
 :$$h(Y) \  =  \  \frac{+1\,{\rm nat}}{0.693\,{\rm nat/bit}}\hspace{0.35cm}\underline{= +1.443\,{\rm bit}}\hspace{0.05cm},$$
 :$$h(XY) \  =  \  \frac{-1.5\,{\rm nat}}{0.693\,{\rm nat/bit}}\hspace{0.35cm}\underline{= -2.164\,{\rm bit}}\hspace{0.05cm},$$
 :$$I(X;Y) \  =  \  \frac{0.5\,{\rm nat}}{0.693\,{\rm nat/bit}}\hspace{0.35cm}\underline{= 0.721\,{\rm bit}}\hspace{0.05cm}.$$
-Oder auch:
+*Oder auch:
 :$$I(X;Y) = -2.886 \,{\rm bit} + 1.443 \,{\rm bit}+ 2.164 \,{\rm bit}{= 0.721\,{\rm bit}}\hspace{0.05cm}.$$
 '''(3)'''&nbsp; Die Transinformation kann auch in der Form &nbsp;$I(X;Y) = h(Y \hspace{-0.05cm}\mid \hspace{-0.05cm} X) - h(Y)$&nbsp; geschrieben werden:
 :$$h(Y \hspace{-0.05cm}\mid \hspace{-0.05cm} X) = h(Y) - I(X;Y) = 1 \,{\rm nat} - 0.5 \,{\rm nat} \hspace{0.15cm}\underline{= 0.5\,{\rm nat}= 0.721\,{\rm bit}}\hspace{0.05cm}.$$
 '''(4)'''&nbsp; Für die differentielle Rückschlussentropie gilt entsprechend:
 :$$h(X \hspace{-0.05cm}\mid \hspace{-0.05cm} Y) = h(X) - I(X;Y) = -2 \,{\rm nat} - 0.5 \,{\rm nat} \hspace{0.15cm}\underline{= -2.5\,{\rm nat}= -3.607\,{\rm bit}}\hspace{0.05cm}.$$
-[[Datei: P_ID2898__Inf_Z_4_5d.png |center|frame|Zusammenfassung aller Ergebnisse dieser Aufgabe]]
+[[Datei: P_ID2898__Inf_Z_4_5d.png |right|frame|Zusammenfassung aller Ergebnisse dieser Aufgabe]]
-'''(5)'''&nbsp; Richtig sind die <u>Lösungsvorschläge 1 bis 3</u>. Nochmals zur Verdeutlichung:
+'''(5)'''&nbsp; Richtig sind die <u>Lösungsvorschläge 1 bis 3</u>.
 * Für die Transinformation gilt stets &nbsp;$I(X;Y) \ge 0$.
 * Im wertdiskreten Fall gibt es keine negative Entropie, jedoch im wertkontinuierlichen.

@@ Zeile 4: / Zeile 4: @@
 [[Datei:P_ID2893__Inf_Z_4_5.png|right|frame|Gegebene Verbund–WDF und Schaubild der differentiellen Entropien]]
-Die Grafik zeigt oben die in dieser Aufgabe zu betrachtende Verbund&ndash;WDF $f_{XY}(x, y)$, die identisch ist mit der &bdquo;grünen&rdquo; Konstellation in der [[Aufgaben:Aufgabe_4.5:_Transinformation_aus_2D-WDF|Aufgabe 4.5.]].
+Die Grafik zeigt oben die in dieser Aufgabe zu betrachtende Verbund&ndash;WDF&nbsp; $f_{XY}(x, y)$, die identisch ist mit der &bdquo;grünen&rdquo; Konstellation in der&nbsp; [[Aufgaben:Aufgabe_4.5:_Transinformation_aus_2D-WDF|Aufgabe 4.5]].
-*  $f_{XY}(x, y)$ ist in der $y$&ndash;Richtung um den Faktor $3$ vergrößert.
+*  $f_{XY}(x, y)$&nbsp; ist in der&nbsp; $y$&ndash;Richtung um den Faktor&nbsp; $3$&nbsp; vergrößert.
-*Im grün hinterlegten Definitionsgebiet ist die Verbund&ndash;WDF konstant gleich $C  = 1/F$, wobei $F$ die Fläche des Parallelogramms angibt.
+*Im grün hinterlegten Definitionsgebiet ist die Verbund&ndash;WDF konstant gleich&nbsp; $C  = 1/F$, wobei&nbsp; $F$&nbsp; die Fläche des Parallelogramms angibt.
@@ Zeile 13: / Zeile 13: @@
 :$$h(Y)   =    {\rm log} \hspace{0.1cm} (\hspace{0.05cm}B \cdot \sqrt{ {\rm e } } \hspace{0.05cm})\hspace{0.05cm},$$
 :$$h(XY)   =    {\rm log} \hspace{0.1cm} (\hspace{0.05cm}F \hspace{0.05cm}) =  {\rm log} \hspace{0.1cm} (\hspace{0.05cm}A \cdot B \hspace{0.05cm})\hspace{0.05cm}.$$
-In dieser Aufgabe sind nun die Parameterwerte $A = {\rm e}^{-2}$ und $B = {\rm e}^{0.5}$ zu verwenden.
+In dieser Aufgabe sind nun die Parameterwerte&nbsp; $A = {\rm e}^{-2}$&nbsp; und&nbsp; $B = {\rm e}^{0.5}$&nbsp; zu verwenden.
@@ Zeile 49: / Zeile 52: @@
-{Berechnen Sie die bedingte differentielle Entropie $h(Y|X)$.
+{Berechnen Sie die bedingte differentielle Entropie&nbsp; $h(Y|X)$.
 |type="{}"}
 $h(Y|X) \ = \ $ { 0.5 3% } $\ \rm nat$
@@ Zeile 55: / Zeile 58: @@
-{Berechnen Sie die bedingte differentielle Entropie $h(X|Y)$.
+{Berechnen Sie die bedingte differentielle Entropie&nbsp; $h(X|Y)$.
 |type="{}"}
 $h(X|Y) \ = \ $ { -2.6--2.4 } $\ \rm nat$

@@ Zeile 75: / Zeile 75: @@
 {{ML-Kopf}}
 '''(1)'''&nbsp; Da die Ergebnisse in &bdquo;nat&rdquo; gefordert sind,  bietet sich die Verwendung des natürlichen Logarithmus an:
-*Die Zufallsgröße <i>X</i> ist gleichverteilt zwischen 0 und 1/e<sup>2</sup> = e<sup>&ndash;2</sup>:
+*Die Zufallsgröße $X$ ist gleichverteilt zwischen $0$ und $1/{\rm e}^2={\rm e}^{-2}$:
 :$$h(X) =  {\rm ln} \hspace{0.1cm} (\hspace{0.05cm}{\rm e}^{-2}\hspace{0.05cm})
 \hspace{0.15cm}\underline{= -2\,{\rm nat}}\hspace{0.05cm}. $$
-*Die Zufallsgröße <i>Y</i> ist dreieckverteilt zwischen &plusmn;e<sup>0.5</sup>:
+*Die Zufallsgröße $Y$ ist dreieckverteilt zwischen $&plusmn;{\rm e}^{-0.5}$:
 :$$h(Y) =  {\rm ln} \hspace{0.1cm} (\hspace{0.05cm}\sqrt{ {\rm e} } \cdot \sqrt{ {\rm e} } )
 =  {\rm ln} \hspace{0.1cm} (\hspace{0.05cm}{ { \rm e } }
@@ Zeile 85: / Zeile 85: @@
 * Die Fläche des Parallelogramms ergibt sich zu
 :$$F = A \cdot B = {\rm e}^{-2} \cdot {\rm e}^{0.5} = {\rm e}^{-1.5}\hspace{0.05cm}.$$
-Damit hat die 2D&ndash;WDF im grün hinterlegten Bereich die konstante Höhe <i>C</i> = 1/<i>F</i> = e<sup>1.5</sup> und man erhält für die Verbundentropie:
+Damit hat die 2D&ndash;WDF im grün hinterlegten Bereich die konstante Höhe $C = 1/F ={\rm e}^{1.5}$ und man erhält für die Verbundentropie:
 :$$h(XY) =  {\rm ln} \hspace{0.1cm} (F)
 =  {\rm ln} \hspace{0.1cm} (\hspace{0.05cm}{\rm e}^{-1.5}\hspace{0.05cm})
@@ Zeile 102: / Zeile 102: @@
-'''(3)'''&nbsp; Die Transinformation kann auch in der Form <i>I</i>(<i>X</i>; <i>Y</i>) = <i>h</i>(<i>Y</i>) &ndash; <i>h</i>(<i>Y</i>|<i>X</i>) geschrieben werden:
+'''(3)'''&nbsp; Die Transinformation kann auch in der Form &nbsp;$I(X;Y) = h(Y \hspace{-0.05cm}\mid \hspace{-0.05cm} X) - h(Y)$&nbsp; geschrieben werden:
 :$$h(Y \hspace{-0.05cm}\mid \hspace{-0.05cm} X) = h(Y) - I(X;Y) = 1 \,{\rm nat} - 0.5 \,{\rm nat} \hspace{0.15cm}\underline{= 0.5\,{\rm nat}= 0.721\,{\rm bit}}\hspace{0.05cm}.$$
@@ Zeile 113: / Zeile 113: @@
 '''(5)'''&nbsp; Richtig sind die <u>Lösungsvorschläge 1 bis 3</u>. Nochmals zur Verdeutlichung:
-* Für die Transinformation gilt stets $I(X;Y) \ge 0$.
+* Für die Transinformation gilt stets &nbsp;$I(X;Y) \ge 0$.
 * Im wertdiskreten Fall gibt es keine negative Entropie, jedoch im wertkontinuierlichen.

@@ Zeile 4: / Zeile 4: @@
 [[Datei:P_ID2893__Inf_Z_4_5.png|right|frame|Gegebene Verbund–WDF und Schaubild der differentiellen Entropien]]
-Die Grafik zeigt oben die in dieser Aufgabe zu betrachtende Verbund&ndash;WDF $f_{XY}(x, y)$, die identisch ist mit der &bdquo;grünen&rdquo; Konstellation in der
+Die Grafik zeigt oben die in dieser Aufgabe zu betrachtende Verbund&ndash;WDF $f_{XY}(x, y)$, die identisch ist mit der &bdquo;grünen&rdquo; Konstellation in der [[Aufgaben:Aufgabe_4.5:_Transinformation_aus_2D-WDF|Aufgabe 4.5.]].
-[Aufgaben:4.05_I(X;_Y)_aus_fXY(x,_y)|Aufgabe 4.5.]  $f_{XY}(x, y)$ ist in der $y$&ndash;Richtung um den Faktor $3$ vergrößert. Im grün hinterlegten Definitionsgebiet ist die Verbund&ndash;WDF konstant gleich $C  = 1/F$, wobei $F$ die Fläche des Parallelogramms angibt.
+*  $f_{XY}(x, y)$ ist in der $y$&ndash;Richtung um den Faktor $3$ vergrößert.
 In der Aufgabe 4.5 wurden folgende differentielle Entropien berechnet:
@@ Zeile 11: / Zeile 13: @@
 :$$h(Y)   =    {\rm log} \hspace{0.1cm} (\hspace{0.05cm}B \cdot \sqrt{ {\rm e } } \hspace{0.05cm})\hspace{0.05cm},$$
 :$$h(XY)   =    {\rm log} \hspace{0.1cm} (\hspace{0.05cm}F \hspace{0.05cm}) =  {\rm log} \hspace{0.1cm} (\hspace{0.05cm}A \cdot B \hspace{0.05cm})\hspace{0.05cm}.$$
-In dieser Aufgabe sind nun die speziellen Parameterwerte $A = {\rm e}^{-2}$ und $B = {\rm e}^{0.5}$ zu verwenden. Außerdem ist zu beachten:
+In dieser Aufgabe sind nun die Parameterwerte $A = {\rm e}^{-2}$ und $B = {\rm e}^{0.5}$ zu verwenden.
-* Bei Verwendung des <i>natürlichen Logarithmus</i> &bdquo;ln&rdquo; ist die Pseudo&ndash;Einheit &bdquo;nat&rdquo; anzufügen.
 Entsprechend dem obigen Schaubild sollen nun auch die bedingten differentiellen Entropien $h(Y|X)$  und $h(X|Y)$ ermittelt und deren Bezug zur Transinformation $I(X; Y)$ angegeben  werden.
 ''Hinweise:''
-*Die Aufgabe gehört zum  Kapitel [[Informationstheorie/AWGN–Kanalkapazität_bei_wertkontinuierlichem_Eingang|AWGN–Kanalkapazität bei wertkontinuierlichem Eingang]].
+*Die Aufgabe gehört zum  Kapitel&nbsp; [[Informationstheorie/AWGN–Kanalkapazität_bei_wertkontinuierlichem_Eingang|AWGN–Kanalkapazität bei wertkontinuierlichem Eingang]].
 *Sollen die Ergebnisse in &bdquo;nat&rdquo; angegeben werden, so erreicht man dies mit &bdquo;log&rdquo; &nbsp;&#8658;&nbsp; &bdquo;ln&rdquo;.
 *Sollen die Ergebnisse in &bdquo;bit&rdquo; angegeben werden, so erreicht man dies mit &bdquo;log&rdquo; &nbsp;&#8658;&nbsp; &bdquo;log<sub>2</sub>&rdquo;.
@@ Zeile 29: / Zeile 33: @@
 <quiz display=simple>
 {Geben Sie die folgenden informationstheoretischen Größen in &bdquo;nat&rdquo; an:
@@ Zeile 61: / Zeile 64: @@
 {Welche der folgenden Größen sind niemals negativ?
 |type="[]"}
-+ Sowohl $H(X)$ als auch $H(Y)$ im wertdiskreten Fall.
++ Sowohl &nbsp;$H(X)$&nbsp; als auch &nbsp;$H(Y)$&nbsp; im wertdiskreten Fall.
-+ Die Transinformation $I(X; Y)$ im wertdiskreten Fall.
++ Die Transinformation &nbsp;$I(X; Y)$&nbsp; im wertdiskreten Fall.
-+ Die Transinformation $I(X; Y)$ im wertkontinuierlichen Fall.
++ Die Transinformation &nbsp;$I(X; Y)$&nbsp; im wertkontinuierlichen Fall.
-- Sowohl $h(X)$ als auch $h(Y)$  im wertkontinuierlichen Fall.
+- Sowohl &nbsp;$h(X)$&nbsp; als auch &nbsp;$h(Y)$&nbsp;  im wertkontinuierlichen Fall.
-- Sowohl $h(X|Y)$ als auch $h(Y|X)$ im wertkontinuierlichen Fall.
+- Sowohl &nbsp;$h(X|Y)$&nbsp; als auch &nbsp;$h(Y|X)$&nbsp; im wertkontinuierlichen Fall.
-- Die Verbundentropie $h(XY)$ im wertkontinuierlichen Fall.
+- Die Verbundentropie &nbsp;$h(XY)$&nbsp; im wertkontinuierlichen Fall.
 </quiz>