Informationstheorie/Einige Vorbemerkungen zu zweidimensionalen Zufallsgrößen - Versionsgeschichte

Maintenance script: Add English interlanguage link

2026-03-16T12:27:25Z

Add English interlanguage link

← Nächstältere Version		Version vom 16. März 2026, 14:27 Uhr
Zeile 372:		Zeile 372:

	{{Display}}		{{Display}}
			[[en:Information_Theory/Some_Preliminary_Remarks_on_Two-Dimensional_Random_Variables]]

Maintenance script: Join multi-line formulas for MW 1.43 parser compat

2026-02-24T13:37:46Z

Join multi-line formulas for MW 1.43 parser compat

Änderungen zeigen

Maintenance script: Domain migration: replace www.lntwww.de with relative paths

2026-02-24T13:11:31Z

Domain migration: replace www.lntwww.de with relative paths

← Nächstältere Version		Version vom 24. Februar 2026, 15:11 Uhr
Zeile 31:		Zeile 31:
	Weitere Informationen zum Thema sowie Aufgaben, Simulationen und Programmierübungen finden Sie im Versuch &bdquo;Wertdiskrete Informationstheorie” des Praktikums „Simulation Digitaler Übertragungssysteme ”.  Diese (ehemalige) LNT-Lehrveranstaltung an der TU München basiert auf		Weitere Informationen zum Thema sowie Aufgaben, Simulationen und Programmierübungen finden Sie im Versuch &bdquo;Wertdiskrete Informationstheorie” des Praktikums „Simulation Digitaler Übertragungssysteme ”.  Diese (ehemalige) LNT-Lehrveranstaltung an der TU München basiert auf

	*dem Windows-Programm  [~~http://www.lntwww.de~~/downloads/Sonstiges/Programme/WDIT.zip WDIT]   ⇒   Link verweist auf die ZIP-Version des Programms; und		*dem Windows-Programm  [/downloads/Sonstiges/Programme/WDIT.zip WDIT]   ⇒   Link verweist auf die ZIP-Version des Programms; und
	*der zugehörigen  [~~http://www.lntwww.de~~/downloads/Sonstiges/Texte/Wertdiskrete_Informationstheorie.pdf Praktikumsanleitung]    ⇒   Link verweist auf die PDF-Version.		*der zugehörigen  [/downloads/Sonstiges/Texte/Wertdiskrete_Informationstheorie.pdf Praktikumsanleitung]    ⇒   Link verweist auf die PDF-Version.

Guenter am 16. Juli 2021 um 12:30 Uhr

2021-07-16T12:30:27Z

← Nächstältere Version		Version vom 16. Juli 2021, 14:30 Uhr
Zeile 136:		Zeile 136:
	==Wahrscheinlichkeitsfunktion und Entropie==		==Wahrscheinlichkeitsfunktion und Entropie==
	<br>		<br>
	In der wertdiskreten Informationstheorie genügt im Gegensatz zu übertragungstechnischen Problemen schon die Kenntnis der Wahrscheinlichkeitsfunktion  $P_X(X)$,  zum Beispiel zur ~~Berechnung der~~  [[Informationstheorie/Gedächtnislose_Nachrichtenquellen#Informationsgehalt_und_Entropie\|~~Entropie~~]].		In der wertdiskreten Informationstheorie genügt im Gegensatz zu übertragungstechnischen Problemen schon die Kenntnis der Wahrscheinlichkeitsfunktion  $P_X(X)$,  zum Beispiel zur  [[Informationstheorie/Gedächtnislose_Nachrichtenquellen#Informationsgehalt_und_Entropie\|Entropieberechnung]].

	{{BlaueBox\|TEXT=		{{BlaueBox\|TEXT=

Guenter am 16. Juli 2021 um 09:05 Uhr

2021-07-16T09:05:32Z

← Nächstältere Version		Version vom 16. Juli 2021, 11:05 Uhr
Zeile 380:		Zeile 380:
	Rechts dargestellt ist der Fall, dass die 2D–PMF  $Q_{RS}(·)$  empirisch ermittelt wurde  $(N = 18)$.  Obwohl sich aufgrund des sehr kleinen  $N$–Wertes ein völlig anderes Bild ergibt, liefert die Näherung für  $H(RS)$  den exakt gleichen Wert wie die Näherung für  $H(RB)$  im $\text{Beispiel 5}$:		Rechts dargestellt ist der Fall, dass die 2D–PMF  $Q_{RS}(·)$  empirisch ermittelt wurde  $(N = 18)$.  Obwohl sich aufgrund des sehr kleinen  $N$–Wertes ein völlig anderes Bild ergibt, liefert die Näherung für  $H(RS)$  den exakt gleichen Wert wie die Näherung für  $H(RB)$  im $\text{Beispiel 5}$:

	:$$H(RS) \big \vert_{N \hspace{0.05cm} = \hspace{0.05cm}18} = H(RB) \big \vert_{N \hspace{0.05cm} = \hspace{0.05cm}18} = 4.059\,{\rm bit~~} \hspace{0.05cm~~}.$$}}		:$$H(RS) \big \vert_{N \hspace{0.05cm} = \hspace{0.05cm}18} = H(RB) \big \vert_{N \hspace{0.05cm} = \hspace{0.05cm}18} = 4.059\hspace{0.15cm}{\rm bit} .$$}}

Guenter am 15. Juli 2021 um 17:00 Uhr

2021-07-15T17:00:41Z

← Nächstältere Version		Version vom 15. Juli 2021, 19:00 Uhr
Zeile 332:		Zeile 332:


	Die linke Grafik zeigt die Wahrscheinlichkeiten  $P_{RB}(·)$, die ~~sich~~ für alle  $μ = 1$, ... , $6$  und für alle  $κ = 1$, ... , $6$  gleichermaßen zu  $1/36$  ergeben.		Die linke Grafik zeigt die Wahrscheinlichkeiten
			:$$P_{RB}(r_\mu,\ b_\kappa ) ={\rm Pr}\big [(R=r_\mu) \hspace{0.05cm}\cap \hspace{0.05cm} (B=b_\kappa)\big],$$
			die für alle  $μ = 1$, ... , $6$  und für alle  $κ = 1$, ... , $6$  gleichermaßen den Wert  $1/36$  ergeben.

	Damit erhält man für die Verbundentropie:		Damit erhält man für die Verbundentropie:
Zeile 349:		Zeile 351:


			[[Datei:P_ID2748__Inf_T_3_1_S5b_neu.png\|right\|frame\|2D–PMF  $P_{RS}$  und Näherung  $Q_{RS}$]]
	{{GraueBox\|TEXT=		{{GraueBox\|TEXT=
	$\text{Beispiel 6:}$  Beim Würfel–Experiment haben wir neben den ~~Zufallsgrößen~~  $R$  (roter Würfel) und  $B$  (blauer Würfel) auch die Summe  $S = R + B$  betrachtet.  Die linke Grafik zeigt, dass man die 2D–Wahrscheinlichkeitsfunktion  $P_{RS}(·)$  nicht als Produkt von  $P_R(·)$  und  $P_S(·)$  schreiben kann.		$\text{Beispiel 6:}$  Beim Würfel–Experiment haben wir neben den Größen  $R$  (roter Würfel) und  $B$  (blauer Würfel) auch die Summe  $S = R + B$  betrachtet.

			Die linke Grafik zeigt, dass man die 2D–Wahrscheinlichkeitsfunktion  $P_{RS}(·)$  nicht als Produkt von  $P_R(·)$  und  $P_S(·)$  schreiben kann.

	Mit den Wahrscheinlichkeitsfunktionen		Mit den Wahrscheinlichkeitsfunktionen

	:$$P_R(R) = \big [ ~~\hspace{0.02cm}~~ 1~~/6\hspace{0.05cm}~~,\ 1~~/6\hspace{0.05cm}~~,\ 1~~/6\hspace{0.05cm}~~,\ 1~~/6\hspace{0.05cm}~~,\ 1~~/6\hspace{0.05cm}~~,\ 1~~/6 \hspace{0.02cm}~~ \big ] ~~\hspace{0.05cm}~~,$$		:$$P_R(R) = 1/6 \cdot \big [ 1,\ 1,\ 1,\ 1,\ 1,\ 1 \big ],$$
	:$$P_S(S)=\big [ ~~\hspace{0.02cm}~~ 1~~/36\hspace{0.05cm}~~,\ 2~~/36\hspace{0.05cm}~~,\ 3~~/36\hspace{0.05cm}~~,\ 4~~/36\hspace{0.05cm}~~,\ 5~~/36\hspace{0.05cm}~~,\ 6~~/36\hspace{0.05cm}~~,\ 5~~/36\hspace{0.05cm}~~,\ 4~~/36\hspace{0.05cm}~~,\ 3~~/36\hspace{0.05cm}~~,\ 2~~/36\hspace{0.05cm}~~,\ 1~~/36\hspace{0.02cm}~~ \big ] ~~\hspace{0.05cm}~~$$		:$$P_S(S)=1/36 \cdot \big [ 1,\ 2,\ 3,\ 4,\ 5,\ 6,\ 5,\ 4,\ 3,\ 2,\ 1 \big ] $$

	erhält man für die Entropien:		erhält man für die Entropien:

			:$$H(RS) = {\rm log}_2 \hspace{0.1cm} (36) \approx 5.170\hspace{0.15cm} {\rm bit} ,$$
			:$$H(R) = {\rm log}_2 \hspace{0.1cm} (6) \approx 2.585\hspace{0.15cm} {\rm bit},$$
			$$H(S) = 2 \hspace{-0.05cm}\cdot \hspace{-0.05cm}\frac{1}{36} \hspace{-0.05cm}\cdot \hspace{-0.05cm} {\rm log}_2 \hspace{0.05cm} \frac{36}{1} \hspace{0.05cm} + 2 \hspace{-0.05cm}\cdot \hspace{-0.05cm} \frac{2}{36} \hspace{-0.05cm}\cdot \hspace{-0.05cm} {\rm log}_2 \hspace{0.05cm} \frac{36}{2} \hspace{0.05cm} + 2 \hspace{-0.05cm}\cdot \hspace{-0.05cm} \frac{3}{36} \cdot {\rm log}_2 \hspace{0.05cm} \frac{36}{3} \hspace{0.05cm} + $$

	:$$H(S) = 2 \hspace{-0.05cm}\cdot \hspace{-0.05cm}\frac{1}{36} \hspace{-0.05cm}\cdot \hspace{-0.05cm} {\rm log}_2 \hspace{0.05cm} \frac{36}{1} \hspace{0.05cm} + 2 \hspace{-0.05cm}\cdot \hspace{-0.05cm} \frac{2}{36} \hspace{-0.05cm}\cdot \hspace{-0.05cm} {\rm log}_2 \hspace{0.05cm} \frac{36}{2} \hspace{0.05cm} + 2 \hspace{-0.05cm}\cdot \hspace{-0.05cm} \frac{3}{36} \cdot {\rm log}_2 \hspace{0.05cm} \frac{36}{3} \hspace{0.05cm} + 2 \hspace{-0.05cm}\cdot \hspace{-0.05cm} \frac{4}{36} \cdot {\rm log}_2 \hspace{0.05cm} \frac{36}{4} \hspace{0.05cm} +2 \hspace{-0.05cm}\cdot \hspace{-0.05cm} \frac{5}{36} \cdot {\rm log}_2 \hspace{0.05cm} \frac{36}{5}		::$$+ 2 \hspace{-0.05cm}\cdot \hspace{-0.05cm} \frac{4}{36} \cdot {\rm log}_2 \hspace{0.05cm} \frac{36}{4} \hspace{0.05cm} +2 \hspace{-0.05cm}\cdot \hspace{-0.05cm} \frac{5}{36} \cdot {\rm log}_2 \hspace{0.05cm} \frac{36}{5}
	+ 1 \hspace{-0.05cm}\cdot \hspace{-0.05cm} \frac{6}{36} \cdot {\rm log}_2 \hspace{0.05cm} \frac{36}{6} ~~\approx 3.274\ {\rm bit} \hspace{0.05cm},~~ $$		+ 1 \hspace{-0.05cm}\cdot \hspace{-0.05cm} \frac{6}{36} \cdot {\rm log}_2 \hspace{0.05cm} \frac{36}{6} $$
	:$$~~H(R) = {~~\~~rm log}_2~~ \hspace{0.~~1cm~~} (6) \approx 2.~~585~~\ {\rm bit} \~~hspace~~{~~0.05cm~~},~~\hspace{1.05cm}~~
	H(RS) = ~~{\rm log}_2 \hspace{0.1cm}~~ (36) ~~\approx 5.170\ {\rm bit} \hspace{0.05cm}~~.$$		:$$\Rightarrow \hspace{0.3cm} H(S) \approx 3.274\hspace{0.15cm} {\rm bit} . $$
			<br clear=all>
			*Der Vergleich mit dem  $\text{Beispiel 5}$  zeigt, dass  $H(RS) =H(RB)$  ist.  Der Grund hierfür ist, dass bei Kenntnis von  $R$  die Zufallsgrößen  $B$  und  $S$  genau die gleichen Informationen liefern.

	~~[[Datei:P_ID2748__Inf_T_3_1_S5b_neu~~.~~png\|right\|frame\|2D–PMF $P_~~{RS}$ ~~und Näherung~~ $Q_{RS}$]]		*Aufgrund der statistischen Abhängigkeit zwischen dem roten Würfel und der Summe ist die Verbundentropie  $H(RS) ≈ 5.170 \hspace{0.15cm} \rm bit$  kleiner als die Summe  $H(R) + H(S) ≈ 5.877 \hspace{0.15cm} \rm bit.$

	~~Aus diesen Zahlenwerten erkennt man:~~
	*Aufgrund der statistischen Abhängigkeit zwischen dem roten Würfel und der Summe ist die Verbundentropie
	~~:$$H(RS) ≈ 5.170 \ \rm bit < H(R) + H(S) ≈ 5.877 \ \rm bit.$$~~
	*Der Vergleich mit  $\text{Beispiel 5}$  zeigt, dass  $H(RS) =H(RB)$  ist.
	*Der Grund hierfür ist, dass bei Kenntnis von  $R$  die Zufallsgrößen  $B$  und  $S$  genau die gleichen Informationen liefern.
	<br clear=all>		<br clear=all>
	Rechts dargestellt ist der Fall, dass die 2D–PMF  $Q_{RS}(·)$  empirisch ermittelt wurde  $(N = 18)$.  Obwohl sich aufgrund des sehr kleinen  $N$–Wertes ein völlig anderes Bild ergibt, liefert die Näherung für  $H(RS)$  den exakt gleichen Wert wie die Näherung für  $H(RB)$  im $\text{Beispiel 5}$:		Rechts dargestellt ist der Fall, dass die 2D–PMF  $Q_{RS}(·)$  empirisch ermittelt wurde  $(N = 18)$.  Obwohl sich aufgrund des sehr kleinen  $N$–Wertes ein völlig anderes Bild ergibt, liefert die Näherung für  $H(RS)$  den exakt gleichen Wert wie die Näherung für  $H(RB)$  im $\text{Beispiel 5}$:

Guenter am 15. Juli 2021 um 15:11 Uhr

2021-07-15T15:11:09Z

← Nächstältere Version		Version vom 15. Juli 2021, 17:11 Uhr
Zeile 316:		Zeile 316:

	Diese Ungleichung drückt folgenden Sachverhalt aus:		Diese Ungleichung drückt folgenden Sachverhalt aus:
	*Das Gleichheitszeichen gilt nur für den Sonderfall statistisch unabhängiger Zufallsgrößen, wie im folgenden  $\text{Beispiel 5}$  anhand der Zufallsgrößen  $R$  und  $B$  demonstriert wird.  Hierbei bezeichnen  $R$  und  $B$  wieder die Augenzahlen des roten bzw. des blauen Würfels.		*Das Gleichheitszeichen gilt nur für den Sonderfall statistisch unabhängiger Zufallsgrößen, wie im folgenden  $\text{Beispiel 5}$  anhand der Zufallsgrößen  $R$  und  $B$  demonstriert wird.  Hierbei bezeichnen  $R$  und  $B$  wieder die Augenzahlen des roten bzw. des blauen Würfels:
			:$$H(RB) = H(R) + H(B).$$
	*Gibt es dagegen wie im  $\text{Beispiel 6}$  statistische Abhängigkeiten zwischen den Zufallsgrößen  $R$  und  $S = R + B$, so gilt in obiger Gleichung das „<”–Zeichen:		*Gibt es dagegen wie im  $\text{Beispiel 6}$  statistische Abhängigkeiten zwischen den Zufallsgrößen  $R$  und  $S = R + B$, so gilt in obiger Gleichung das „<”–Zeichen:
	:$$H(RS) < H(R) + H(S).$$		:$$H(RS) < H(R) + H(S).$$

Guenter am 15. Juli 2021 um 15:08 Uhr

2021-07-15T15:08:45Z

← Nächstältere Version		Version vom 15. Juli 2021, 17:08 Uhr
Zeile 294:		Zeile 294:
	==Verbundwahrscheinlichkeit und Verbundentropie ==		==Verbundwahrscheinlichkeit und Verbundentropie ==
	<br>		<br>
	Für den Rest ~~diese~~ dritten Kapitels betrachten wir stets zwei diskrete Zufallsgrößen  $X = \{ x_1, \ x_2$, ... ,  $x_M \}$  und  $Y = \{ y_1, \ y_2$, ... ,  $y_K \}$, deren Wertebereiche nicht notwendigerweise übereinstimmen müssen.  Das heißt:   $K ≠ M$ $($in anderer Notation:  $\|Y\| ≠ \|X\|)$  ist durchaus erlaubt.		Für den Rest dieses dritten Kapitels betrachten wir stets zwei diskrete Zufallsgrößen  $X = \{ x_1, \ x_2$, ... ,  $x_M \}$  und  $Y = \{ y_1, \ y_2$, ... ,  $y_K \}$, deren Wertebereiche nicht notwendigerweise übereinstimmen müssen.  Das heißt:   $K ≠ M$ $($in anderer Notation:  $\|Y\| ≠ \|X\|)$  ist durchaus erlaubt.

	Die Wahrscheinlichkeitsfunktion hat somit eine  $K×M$–Matrixform mit den Elementen		Die Wahrscheinlichkeitsfunktion hat somit eine  $K×M$–Matrixform mit den Elementen
Zeile 303:		Zeile 303:

	{{BlaueBox\|TEXT=		{{BlaueBox\|TEXT=
	$\text{Definition:}$  Die  '''Verbundentropie'''  (englisch:  ''Joint Entropy'')  lässt sich mit der 2D–Wahrscheinlichkeitsfunktion  $P_{XY}(X, Y)$  als Erwartungswert wie folgt darstellen:		$\text{Definition:}$  Die  '''Verbundentropie'''  (englisch:  "Joint Entropy")  lässt sich mit der 2D–Wahrscheinlichkeitsfunktion  $P_{XY}(X, Y)$  als Erwartungswert wie folgt darstellen:

	:$$H(XY) = {\rm E} \left [ {\rm log} \hspace{0.1cm} \frac{1}{P_{XY}(X, Y)}\right ] = \sum_{\mu = 1}^{M} \hspace{0.1cm} \sum_{\kappa = 1}^{K} \hspace{0.1cm}		:$$H(XY) = {\rm E} \left [ {\rm log} \hspace{0.1cm} \frac{1}{P_{XY}(X, Y)}\right ] = \sum_{\mu = 1}^{M} \hspace{0.1cm} \sum_{\kappa = 1}^{K} \hspace{0.1cm}
Zeile 317:		Zeile 317:
	Diese Ungleichung drückt folgenden Sachverhalt aus:		Diese Ungleichung drückt folgenden Sachverhalt aus:
	*Das Gleichheitszeichen gilt nur für den Sonderfall statistisch unabhängiger Zufallsgrößen, wie im folgenden  $\text{Beispiel 5}$  anhand der Zufallsgrößen  $R$  und  $B$  demonstriert wird.  Hierbei bezeichnen  $R$  und  $B$  wieder die Augenzahlen des roten bzw. des blauen Würfels.		*Das Gleichheitszeichen gilt nur für den Sonderfall statistisch unabhängiger Zufallsgrößen, wie im folgenden  $\text{Beispiel 5}$  anhand der Zufallsgrößen  $R$  und  $B$  demonstriert wird.  Hierbei bezeichnen  $R$  und  $B$  wieder die Augenzahlen des roten bzw. des blauen Würfels.
	*Gibt es dagegen ~~statistische Abhängigkeiten~~ wie im  $\text{Beispiel 6}$  zwischen den Zufallsgrößen  $R$  und  $S = R + B$, so gilt in obiger Gleichung das „<”–Zeichen:		*Gibt es dagegen wie im  $\text{Beispiel 6}$  statistische Abhängigkeiten zwischen den Zufallsgrößen  $R$  und  $S = R + B$, so gilt in obiger Gleichung das „<”–Zeichen:
	:$$H(RS) < H(R) + H(S).$$		:$$H(RS) < H(R) + H(S).$$

Guenter am 15. Juli 2021 um 12:38 Uhr

2021-07-15T12:38:58Z

Guenter am 15. Juli 2021 um 09:12 Uhr

2021-07-15T09:12:55Z

← Nächstältere Version		Version vom 15. Juli 2021, 11:12 Uhr
Zeile 136:		Zeile 136:
	==Wahrscheinlichkeitsfunktion und Entropie==		==Wahrscheinlichkeitsfunktion und Entropie==
	<br>		<br>
	In der wertdiskreten Informationstheorie genügt im Gegensatz zu übertragungstechnischen Problemen schon die Kenntnis der Wahrscheinlichkeitsfunktion  $P_X(X)$, zum Beispiel zur Berechnung der  [[Informationstheorie/Gedächtnislose_Nachrichtenquellen#Informationsgehalt_und_Entropie\|Entropie]].		In der wertdiskreten Informationstheorie genügt im Gegensatz zu übertragungstechnischen Problemen schon die Kenntnis der Wahrscheinlichkeitsfunktion  $P_X(X)$,  zum Beispiel zur Berechnung der  [[Informationstheorie/Gedächtnislose_Nachrichtenquellen#Informationsgehalt_und_Entropie\|Entropie]].

	{{BlaueBox\|TEXT=		{{BlaueBox\|TEXT=
	$\text{Definition:}$  Die  ~~'''~~Entropie~~'''~~  einer diskreten Zufallsgröße  $X$  – also deren Unsicherheit für einen Beobachter – kann man mit der Wahrscheinlichkeitsfunktion  $P_X(X)$  wie folgt darstellen:		$\text{Definition:}$  Die  $\rm Entropie$  einer diskreten Zufallsgröße  $X$  – also deren Unsicherheit für einen Beobachter – kann man mit der Wahrscheinlichkeitsfunktion  $P_X(X)$  wie folgt darstellen:

	:$$H(X) = {\rm E} \big [ {\rm log} \hspace{0.1cm} \frac{1}{P_X(X)}\big ] \hspace{0.05cm}=\hspace{0.05cm}		:$$H(X) = {\rm E} \big [ {\rm log} \hspace{0.1cm} \frac{1}{P_X(X)}\big ] \hspace{0.05cm}=\hspace{0.05cm}
Zeile 146:		Zeile 146:
	P_X(x_{\mu}) \cdot {\rm log} \hspace{0.1cm} {P_X(x_{\mu})} \hspace{0.05cm}.$$		P_X(x_{\mu}) \cdot {\rm log} \hspace{0.1cm} {P_X(x_{\mu})} \hspace{0.05cm}.$$

	Verwendet man den Logarithmus zur Basis  $2$, also  $\log_2$ (...)   ⇒   ''Logarithmus dualis'', so wird der Zahlenwert mit der Pseudo–Einheit „bit” versehen.  $\rm E\big[$...$\big]$ gibt den Erwartungswert an. }}		Verwendet man den Logarithmus zur Basis  $2$, also  $\log_2$ (...)   ⇒   &bdquo;Logarithmus dualis”, so wird der Zahlenwert mit der Pseudo–Einheit „bit” versehen.  $\rm E\big[$...$\big]$ gibt den Erwartungswert an. }}


Zeile 165:		Zeile 165:
	{{BlaueBox\|TEXT=		{{BlaueBox\|TEXT=
	$\text{Herleitung:}$		$\text{Herleitung:}$
	Für ein allgemeines $M$ lässt sich dieses Ergebnis beispielsweise wie folgt herleiten – siehe  [Meck]<ref>Mecking, M.: Information Theory. Vorlesungsmanuskript, Lehrstuhl für Nachrichtentechnik, Technische Universität München, 2009.</ref>:		Für ein allgemeines  $M$  lässt sich dieses Ergebnis beispielsweise wie folgt herleiten – siehe  [Meck]<ref>Mecking, M.: Information Theory. Vorlesungsmanuskript, Lehrstuhl für Nachrichtentechnik, Technische Universität München, 2009.</ref>:

	:$$H(X) = -{\rm E} \big [ {\rm log} \hspace{0.1cm} {P_X(X)}\big ] \hspace{0.2cm} \le \hspace{0.2cm}- {\rm log} \big [ {\rm E} \hspace{0.1cm} \left [{P_X(X)}\right ] \big ] \hspace{0.05cm}.$$		:$$H(X) = -{\rm E} \big [ {\rm log} \hspace{0.1cm} {P_X(X)}\big ] \hspace{0.2cm} \le \hspace{0.2cm}- {\rm log} \big [ {\rm E} \hspace{0.1cm} \left [{P_X(X)}\right ] \big ] \hspace{0.05cm}.$$
Zeile 189:		Zeile 189:
	*Die Entropie  $H(X)$  bezieht sich stets auf die tatsächliche Wahrscheinlichkeitsfunktion  $P_X(X)$  der diskreten Zufallsgröße.  Experimentell erhält man diese Größen erst nach  $N → ∞$  Versuchen.		*Die Entropie  $H(X)$  bezieht sich stets auf die tatsächliche Wahrscheinlichkeitsfunktion  $P_X(X)$  der diskreten Zufallsgröße.  Experimentell erhält man diese Größen erst nach  $N → ∞$  Versuchen.
	*Ermittelt man die Wahrscheinlichkeitsfunktion aus einer endlichen Zufallsfolge, so bezeichnen wir diese Wahrscheinlichkeitsfunktion mit  $Q_X(X)$  und die daraus resultierende Entropie versehen wir mit dem Zusatz  „$N =$ ...”.		*Ermittelt man die Wahrscheinlichkeitsfunktion aus einer endlichen Zufallsfolge, so bezeichnen wir diese Wahrscheinlichkeitsfunktion mit  $Q_X(X)$  und die daraus resultierende Entropie versehen wir mit dem Zusatz  „$N =$ ...”.
	*Diese Entropie–Näherung basiert nicht auf Wahrscheinlichkeiten, sondern ~~nur~~ auf ~~den~~  [[Stochastische_Signaltheorie/Wahrscheinlichkeit_und_relative_Häufigkeit#Bernoullisches_Gesetz_der_gro.C3.9Fen_Zahlen\|relativen Häufigkeiten]].  Erst für  $N → ∞$  stimmt ~~diese~~ Näherung mit  $H(X)$  überein.}}		*Diese Entropie–Näherung basiert nicht auf Wahrscheinlichkeiten, sondern auf  [[Stochastische_Signaltheorie/Wahrscheinlichkeit_und_relative_Häufigkeit#Bernoullisches_Gesetz_der_gro.C3.9Fen_Zahlen\|relativen Häufigkeiten]].  Erst für  $N → ∞$  stimmt die Näherung mit  $H(X)$  überein.}}


			[[Datei:P_ID2744__Inf_T_3_1_S3_neu.png\|right\|frame\|Wahrscheinlichkeitsfunktionen unseres Würfelexperiments]]
	{{GraueBox\|TEXT=		{{GraueBox\|TEXT=
	$\text{Beispiel 3:}$  Wir kommen auf unser  &bdquo;Würfel–Experiment”  zurück.  Die folgende Tabelle zeigt die Wahrscheinlichkeitsfunktionen  $P_R(R)$  und  $P_B(B)$  für den roten und den blauen Würfel sowie die Näherungen  $Q_R(R)$  und  $Q_B(B)$, jeweils basierend auf dem Zufallsexperiment mit  $N = 18$  Würfen.  Die relativen Häufigkeiten  $Q_R(R)$  und  $Q_B(B)$  ergeben sich aus den  [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Einf.C3.BChrungsbeispiel_zur_statistischen_Abh.C3.A4ngigkeit_von_Zufallsgr.C3.B6.C3.9Fen\|beispielhaften Zufallsfolgen]]  von  $\text{Beispiel 1}$.		$\text{Beispiel 3:}$  Wir kommen auf unser  &bdquo;Würfel–Experiment”  zurück.

	[[~~Datei:P_ID2744__Inf_T_3_1_S3_neu~~.~~png\|center\|frame~~\|~~Wahrscheinlichkeitsfunktionen unseres Würfelexperiments~~]]		*Die Tabelle zeigt die Wahrscheinlichkeitsfunktionen  $P_R(R)$  und  $P_B(B)$  für den roten und den blauen Würfel sowie die Näherungen  $Q_R(R)$  und  $Q_B(B)$,  jeweils basierend auf dem Zufallsexperiment mit  $N = 18$  Würfen.
			*Die relativen Häufigkeiten  $Q_R(R)$  und  $Q_B(B)$  ergeben sich aus den  [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Einf.C3.BChrungsbeispiel_zur_statistischen_Abh.C3.A4ngigkeit_von_Zufallsgr.C3.B6.C3.9Fen\|beispielhaften Zufallsfolgen]]  von  $\text{Beispiel 1}$.

	Für die Zufallsgröße  $R$  gilt mit dem ''Logarithmus ~~dualis''  $($~~zur Basis  $2)$:
			Für die Zufallsgröße  $R$  gilt mit dem Logarithmus zur Basis  $2$:

	:$$H(R) = H(R) \big \vert_{N \hspace{0.05cm}\rightarrow \hspace{0.05cm}\infty} = \sum_{\mu = 1}^{6} 1/6 \cdot {\rm log}_2 \hspace{0.1cm} (6) = {\rm log}_2 \hspace{0.1cm} (6) = 2.585\ {\rm bit} \hspace{0.05cm},$$		:$$H(R) = H(R) \big \vert_{N \hspace{0.05cm}\rightarrow \hspace{0.05cm}\infty} = \sum_{\mu = 1}^{6} 1/6 \cdot {\rm log}_2 \hspace{0.1cm} (6) = {\rm log}_2 \hspace{0.1cm} (6) = 2.585\ {\rm bit} \hspace{0.05cm},$$

← Nächstältere Version		Version vom 15. Juli 2021, 14:38 Uhr
Zeile 223:		Zeile 223:

	{{BlaueBox\|TEXT=		{{BlaueBox\|TEXT=
	$\text{Definition:}$  Die  '''relative Entropie'''  (englisch:  ''Informational Divergence'')  zwischen den durch  $P_X(·)$  und  $P_Y(·)$  definierten Zufallsgrößen ist wie folgt gegeben:		$\text{Definition:}$  Die  '''relative Entropie'''  (englisch:  "Informational Divergence")  zwischen den durch  $P_X(·)$  und  $P_Y(·)$  definierten Zufallsgrößen ist wie folgt gegeben:

	:$$D(P_X \hspace{0.05cm} \vert \vert \hspace{0.05cm}P_Y) = {\rm E} \left [ {\rm log} \hspace{0.1cm} \frac{P_X(X)}{P_Y(X)}\right ] \hspace{0.2cm}=\hspace{0.2cm} \sum_{\mu = 1}^{M}		:$$D(P_X \hspace{0.05cm} \vert \vert \hspace{0.05cm}P_Y) = {\rm E} \left [ {\rm log} \hspace{0.1cm} \frac{P_X(X)}{P_Y(X)}\right ] \hspace{0.2cm}=\hspace{0.2cm} \sum_{\mu = 1}^{M}
Zeile 242:		Zeile 242:

	Wertet man die beiden obigen Gleichungen aus, so erkennt man folgende Eigenschaften:		Wertet man die beiden obigen Gleichungen aus, so erkennt man folgende Eigenschaften:
	*Liegt die gleiche Verteilung vor   ⇒   $P_Y(·) ≡ P_X(·)$, so ist  $D(P_X \|\| P_Y) = 0$.  In allen anderen Fällen ist  $D(P_X \|\| P_Y) > 0$.  Gleiches gilt für die Variante  $D(P_Y \|\| P_X)$.		*Liegt die gleiche Verteilung vor   ⇒   $P_Y(·) ≡ P_X(·)$,  so ist  $D(P_X \|\| P_Y) = 0$.  In allen anderen Fällen ist  $D(P_X \|\| P_Y) > 0$.  Gleiches gilt für die Variante  $D(P_Y \|\| P_X)$.
	*Gilt  $P_X(x_μ) ≠ 0$  und  $P_Y(x_μ) = 0$  $($hierfür genügt ein einziges und beliebiges  $μ)$, so ergibt sich für die Kullback–Leibler–Distanz  $D(P_X \|\| P_Y)$  ein unendlich großer Wert.  In diesem Fall ist  $D(P_Y \|\| P_X)$  nicht notwendigerweise ebenfalls unendlich.		*Gilt  $P_X(x_μ) ≠ 0$  und  $P_Y(x_μ) = 0$  $($hierfür genügt ein einziges und beliebiges  $μ)$, so ergibt sich für die Kullback–Leibler–Distanz  $D(P_X \|\| P_Y)$  ein unendlich großer Wert.  In diesem Fall ist  $D(P_Y \|\| P_X)$  nicht notwendigerweise ebenfalls unendlich.
	*Diese Aussage macht nochmals deutlich, dass im allgemeinen  $D(P_X \|\| P_Y)$  ungleich  $D(P_Y \|\| P_X)$  sein wird.		*Diese Aussage macht nochmals deutlich, dass im allgemeinen  $D(P_X \|\| P_Y)$  ungleich  $D(P_Y \|\| P_X)$  sein wird.


	Anschließend werden diese beiden Definitionen an unserem Standardbeispiel  &bdquo;Würfel–Experiment&~~bdquo~~;  verdeutlicht.  Gleichzeitig verweisen wir auf folgende Aufgaben:		Anschließend werden diese beiden Definitionen an unserem Standardbeispiel  &bdquo;Würfel–Experiment”  verdeutlicht.  Gleichzeitig verweisen wir auf folgende Aufgaben:
	*[[Aufgabe_3.5:_Kullback-Leibler-Distanz_%26_Binominalverteilung\|Aufgabe 3.5: Kullback–Leibler–Distanz & Binomialverteilung]]		*[[Aufgabe_3.5:_Kullback-Leibler-Distanz_%26_Binominalverteilung\|Aufgabe 3.5: Kullback–Leibler–Distanz & Binomialverteilung]]
	*[[Aufgaben:3.5Z_Nochmals_Kullback-Leibler-Distanz\|Aufgabe 3.5Z: Nochmals Kullback–Leibler–Distanz]]		*[[Aufgaben:3.5Z_Nochmals_Kullback-Leibler-Distanz\|Aufgabe 3.5Z: Nochmals Kullback–Leibler–Distanz]]
	*[[Aufgaben:3.6_Partitionierungsungleichung\|A3.6: Partitionierungsungleichung]]		*[[Aufgaben:3.6_Partitionierungsungleichung\|A3.6: Partitionierungsungleichung]]


			[[Datei:P_ID2745__Inf_T_3_1_S3_neu.png\|right\|frame\|Wahrscheinlichkeitsfunktionen unseres Würfelexperiments]]

	{{GraueBox\|TEXT=		{{GraueBox\|TEXT=
	$\text{Beispiel 4:}$  Für das Würfel–Experiment haben wir die Wahrscheinlichkeitsfunktionen  $P_R(·)$  und  $P_B(·)$  sowie deren Näherungen  $Q_R(·)$  und  $Q_B(·)$  definiert.		$\text{Beispiel 4:}$  Für das Würfel–Experiment haben wir im  $\text{Beispiel 3}$  die Wahrscheinlichkeitsfunktionen  $P_R(·)$  und  $P_B(·)$  sowie deren Näherungen  $Q_R(·)$  und  $Q_B(·)$  definiert.
	*Die Zufallsgröße  $R$  mit ~~der~~ PMF  $P_R(·)$  gibt die Augenzahl des roten Würfels an und  $B$  mit ~~der~~ PMF  $P_B(·)$  die ~~Augenzahl~~ des blauen ~~Würfels~~.		*Die Zufallsgröße  $R$  mit PMF  $P_R(·)$  gibt die Augenzahl des roten Würfels an und  $B$  mit PMF  $P_B(·)$  die des blauen.
	*~~Die Näherungen ~~ $Q_R(·)$  und  $Q_B(·)$  ergeben sich aus dem früher beschriebenen Experiment mit  $N = 18$  Doppelwürfen  ⇒   [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Einf.C3.BChrungsbeispiel_zur_statistischen_Abh.C3.A4ngigkeit_von_Zufallsgr.C3.B6.C3.9Fen\|$\text{Beispiel 1}$]] .		*$Q_R(·)$  und  $Q_B(·)$  ergeben sich aus dem früher beschriebenen Experiment mit  $N = 18$  Doppelwürfen  ⇒   [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Einf.C3.BChrungsbeispiel_zur_statistischen_Abh.C3.A4ngigkeit_von_Zufallsgr.C3.B6.C3.9Fen\|$\text{Beispiel 1}$]] .


	~~[[Datei:P_ID2745__Inf_T_3_1_S3_neu.png\|center\|frame\|Wahrscheinlichkeitsfunktionen unseres Würfelexperiments]]~~
	Dann gilt:		Dann gilt:
	*Da  $P_R(·)$  und  $P_B(·)$  identisch sind, erhält man für die oben definierten Kullback–Leibler–Distanzen  $D(P_R \vert \vert P_B)$  und  $D(P_B \vert \vert P_R)$  jeweils den Wert Null.		*Da  $P_R(·)$  und  $P_B(·)$  identisch sind, erhält man für die oben definierten Kullback–Leibler–Distanzen  $D(P_R \vert \vert P_B)$  und  $D(P_B \vert \vert P_R)$  jeweils den Wert Null.