Informationstheorie/AWGN–Kanalkapazität bei wertkontinuierlichem Eingang - Versionsgeschichte

Maintenance script: Add English interlanguage link

2026-03-16T12:27:23Z

Add English interlanguage link

← Nächstältere Version		Version vom 16. März 2026, 14:27 Uhr
Zeile 218:		Zeile 218:

	{{Display}}		{{Display}}
			[[en:Information_Theory/AWGN_Channel_Capacity_for_Continuous-Valued_Input]]

Maintenance script: Join multi-line formulas for MW 1.43 parser compat

2026-02-24T13:37:45Z

Join multi-line formulas for MW 1.43 parser compat

Änderungen zeigen

Guenter am 20. August 2021 um 14:16 Uhr

2021-08-20T14:16:37Z

← Nächstältere Version		Version vom 20. August 2021, 16:16 Uhr
Zeile 92:		Zeile 92:
	Wir betrachten nun ein sehr einfaches Modell der Nachrichtenübertragung:		Wir betrachten nun ein sehr einfaches Modell der Nachrichtenübertragung:
	*Die Zufallsgröße  $X$  steht für das (mittelwertfreie) Sendesignal und ist durch die WDF  $f_X(x)$  und die Varianz  $σ_X^2$  gekennzeichnet.  Die Sendeleistung ist $P_X = σ_X^2$.		*Die Zufallsgröße  $X$  steht für das (mittelwertfreie) Sendesignal und ist durch die WDF  $f_X(x)$  und die Varianz  $σ_X^2$  gekennzeichnet.  Die Sendeleistung ist $P_X = σ_X^2$.
	*Die additive Störung  $N$  ist durch die WDF  $f_N(n)$  und die Störleistung  $P_N = σ_N^2$  gegeben.		*Die additive Störung  $N$  ist durch die  (mittelwertfreie)  WDF  $f_N(n)$  und die Störleistung  $P_N = σ_N^2$  gegeben.
	*Wenn  $X$  und  $N$  als statistisch unabhängig angenommen werden   ⇒   signalunabhängiges Rauschen, dann gilt  $\text{E}\big[X · N \big] = \text{E}\big[X \big] · \text{E}\big[N\big] = 0$ .		*Wenn  $X$  und  $N$  als statistisch unabhängig angenommen werden   ⇒   signalunabhängiges Rauschen, dann gilt  $\text{E}\big[X · N \big] = \text{E}\big[X \big] · \text{E}\big[N\big] = 0$ .
	*Das Empfangssignal ist  $Y = X + N$.  Die Ausgangs–WDF  $f_Y(y)$  ist mit der [[Signaldarstellung/Faltungssatz_und_Faltungsoperation#Faltung_im_Zeitbereich\|Faltungsoperation]]  berechenbar   ⇒   $f_Y(y) = f_X(x) ∗ f_N(n)$.		*Das Empfangssignal ist  $Y = X + N$.  Die Ausgangs–WDF  $f_Y(y)$  ist mit der [[Signaldarstellung/Faltungssatz_und_Faltungsoperation#Faltung_im_Zeitbereich\|Faltungsoperation]]  berechenbar   ⇒   $f_Y(y) = f_X(x) ∗ f_N(n)$.
Zeile 188:		Zeile 188:

	:$$I(X_1,\hspace{0.05cm}\text{...}\hspace{0.05cm}, X_K\hspace{0.05cm};\hspace{0.05cm}Y_1, \hspace{0.05cm}\text{...} \hspace{0.05cm}, Y_K)		:$$I(X_1,\hspace{0.05cm}\text{...}\hspace{0.05cm}, X_K\hspace{0.05cm};\hspace{0.05cm}Y_1, \hspace{0.05cm}\text{...} \hspace{0.05cm}, Y_K)
	\hspace{0.2cm} \le \hspace{0.1cm} \hspace{0.1cm} \sum_{k= 1}^K \hspace{0.1cm} \big[h(Y_k - h(N_k)\big]		\hspace{0.2cm} \le \hspace{0.1cm} \hspace{0.1cm} \sum_{k= 1}^K \hspace{0.1cm} \big[h(Y_k) - h(N_k)\big]
	\hspace{0.2cm} \le \hspace{0.1cm} 1/2 \cdot \sum_{k= 1}^K \hspace{0.1cm} {\rm log}_2 \hspace{0.1cm} ( 1 + {P_k}/{\sigma_k^2})		\hspace{0.2cm} \le \hspace{0.1cm} 1/2 \cdot \sum_{k= 1}^K \hspace{0.1cm} {\rm log}_2 \hspace{0.1cm} ( 1 + {P_k}/{\sigma_k^2})
	\hspace{0.05cm}.$$		\hspace{0.05cm}.$$

Guenter am 20. August 2021 um 11:49 Uhr

2021-08-20T11:49:06Z

← Nächstältere Version		Version vom 20. August 2021, 13:49 Uhr
Zeile 97:		Zeile 97:

	[[Datei:Inf_T_4_2_S3neu.png\|right\|frame\|Nachrichtenübertragungssystem mit additiver Störung]]		[[Datei:Inf_T_4_2_S3neu.png\|right\|frame\|Nachrichtenübertragungssystem mit additiver Störung]]
	* Für die Empfangsleistung (Varianz) gilt:		* Für die Empfangsleistung  (Varianz)  gilt:

	:$$P_Y = \sigma_Y^2 = {\rm E}\big[Y^2\big] = {\rm E}\big[(X+N)^2\big] = {\rm E}\big[X^2\big] + {\rm E}\big[N^2\big] = \sigma_X^2 + \sigma_N^2 $$		:$$P_Y = \sigma_Y^2 = {\rm E}\big[Y^2\big] = {\rm E}\big[(X+N)^2\big] = {\rm E}\big[X^2\big] + {\rm E}\big[N^2\big] = \sigma_X^2 + \sigma_N^2 $$
Zeile 107:		Zeile 107:
	Zur Berechnung der Transinformation zwischen dem Eingang  $X$  und dem Ausgang  $Y$  gibt es entsprechend dem  [[Informationstheorie/AWGN–Kanalkapazität_bei_wertkontinuierlichem_Eingang#Zur_.C3.84quivokation_und_Irrelevanz\|Schaubild auf der vorherigen Seite]]  drei Möglichkeiten:		Zur Berechnung der Transinformation zwischen dem Eingang  $X$  und dem Ausgang  $Y$  gibt es entsprechend dem  [[Informationstheorie/AWGN–Kanalkapazität_bei_wertkontinuierlichem_Eingang#Zur_.C3.84quivokation_und_Irrelevanz\|Schaubild auf der vorherigen Seite]]  drei Möglichkeiten:
	* Berechnung entsprechend  $I(X, Y) = h(X) + h(Y) - h(XY)$:		* Berechnung entsprechend  $I(X, Y) = h(X) + h(Y) - h(XY)$:
	:Die beiden ersten Terme sind aus  $f_X(x)$  bzw.  $f_Y(y)$  in einfacher Weise berechenbar.  Problematisch ist die  ''differentielle Verbundentropie''  $h(XY)$.  Hierzu benötigt man die 2D–Verbund–WDF  $f_{XY}(x, y)$, die meist nicht direkt gegeben ist.		:Die beiden ersten Terme sind aus  $f_X(x)$  bzw.  $f_Y(y)$  in einfacher Weise berechenbar.  Problematisch ist die  »differentielle Verbundentropie«  $h(XY)$.  Hierzu benötigt man die 2D–Verbund–WDF  $f_{XY}(x, y)$, die meist nicht direkt gegeben ist.

	* Berechnung entsprechend  $I(X, Y) = h(Y) - h(Y\|X)$:		* Berechnung entsprechend  $I(X, Y) = h(Y) - h(Y\|X)$:
	:Hierbei bezeichnet  $h(Y\|X)$  die  ''differentielle Streuentropie''.  Es gilt  $h(Y\|X) = h(X + N\|X) = h(N)$, so dass  $I(X; Y)$  bei Kenntnis von $f_X(x)$  und $f_N(n)$  über die Gleichung  $f_Y(y) = f_X(x) ∗ f_N(n)$  sehr einfach zu berechnen ist.		:Hierbei bezeichnet  $h(Y\|X)$  die  »differentielle Streuentropie«.  Es gilt  $h(Y\|X) = h(X + N\|X) = h(N)$, so dass  $I(X; Y)$  bei Kenntnis von $f_X(x)$  und $f_N(n)$  über die Gleichung  $f_Y(y) = f_X(x) ∗ f_N(n)$  sehr einfach zu berechnen ist.

	* Berechnung entsprechend  $I(X, Y) = h(X) - h(X\|Y)$:		* Berechnung entsprechend  $I(X, Y) = h(X) - h(X\|Y)$:
	:Nach dieser Gleichung benötigt man allerdings die differentielle Rückschlussentropie  $h(X\|Y)$, die schwieriger angebbar ist als  $h(Y\|X)$.		:Nach dieser Gleichung benötigt man allerdings die  » differentielle Rückschlussentropie«  $h(X\|Y)$, die schwieriger angebbar ist als  $h(Y\|X)$.

	{{BlaueBox\|TEXT=		{{BlaueBox\|TEXT=
	$\text{Fazit:}$  Im Folgenden verwenden wir die mittlere Gleichung und schreiben für die Transinformation zwischen dem Eingang  $X$  und dem Ausgang  $Y$  eines  ''Nachrichtenübertragungssystems bei additiver und unkorrelierter Störung''  $N$:		$\text{Fazit:}$  Im Folgenden verwenden wir die mittlere Gleichung und schreiben für die Transinformation zwischen dem Eingang  $X$  und dem Ausgang  $Y$  eines  Nachrichtenübertragungssystems bei additiver und unkorrelierter Störung  $N$:

	:$$I(X;Y) \hspace{-0.05cm} = \hspace{-0.01cm} h(Y) \hspace{-0.01cm}- \hspace{-0.01cm}h(N) \hspace{-0.01cm}=\hspace{-0.05cm}		:$$I(X;Y) \hspace{-0.05cm} = \hspace{-0.01cm} h(Y) \hspace{-0.01cm}- \hspace{-0.01cm}h(N) \hspace{-0.01cm}=\hspace{-0.05cm}
Zeile 130:		Zeile 130:
	- \hspace{0.05cm}{n^2}/(2 \sigma_N^2) } \hspace{0.05cm}, $$		- \hspace{0.05cm}{n^2}/(2 \sigma_N^2) } \hspace{0.05cm}, $$

	so erhalten wir das rechts skizzierte Modell zur Berechnung der Kanalkapazität des so genannten  [[Modulationsverfahren/Qualitätskriterien#Einige_Anmerkungen_zum_AWGN.E2.80.93Kanalmodell\|AWGN–Kanals]]  (''Additive White Gaussian Noise'').  Meist ersetzen wir im Folgenden  $\sigma_N^2$  durch  $P_N$.		so erhalten wir das rechts skizzierte Modell zur Berechnung der Kanalkapazität des so genannten  [[Modulationsverfahren/Qualitätskriterien#Einige_Anmerkungen_zum_AWGN.E2.80.93Kanalmodell\|AWGN–Kanals]]  ("Additive White Gaussian Noise").  Meist ersetzen wir im Folgenden die Varianz  $\sigma_N^2$  durch die Leistung  $P_N$.
	<br clear=all>		<br clear=all>
	Aus vorherigen Abschnitten wissen wir:		Aus vorherigen Abschnitten wissen wir:
Zeile 139:		Zeile 139:
	\hspace{0.05cm}.$$		\hspace{0.05cm}.$$

	:Es ist bereits berücksichtigt, dass sich die Maximierung allein auf die differentielle Entropie  $h(Y)$   ⇒   ~~WDF~~  $f_Y(y)$  bezieht.  Bei gegebener Störleistung  $P_N$  ist nämlich  $h(N) = 1/2 · \log_2 (2π{\rm e} · P_N)$  eine Konstante.		:Es ist bereits berücksichtigt, dass sich die Maximierung allein auf die differentielle Entropie  $h(Y)$   ⇒   Wahrscheinlichkeitsdichtefunktion  $f_Y(y)$  bezieht.  Bei gegebener Störleistung  $P_N$  ist nämlich  $h(N) = 1/2 · \log_2 (2π{\rm e} · P_N)$  eine Konstante.
	*Das Maximum für  $h(Y)$  erhält man für eine Gaußsche WDF  $f_Y(y)$  mit  $P_Y = P_X + P_N$ t, siehe ~~Seite~~  [[Informationstheorie/Differentielle_Entropie#Beweis:_Maximale_differentielle_Entropie_bei_Leistungsbegrenzung\|Maximale differentielle Entropie bei Leistungsbegrenzung]]:		*Das Maximum für  $h(Y)$  erhält man für eine Gaußsche WDF  $f_Y(y)$  mit  $P_Y = P_X + P_N$ t, siehe  [[Informationstheorie/Differentielle_Entropie#Beweis:_Maximale_differentielle_Entropie_bei_Leistungsbegrenzung\|Maximale differentielle Entropie bei Leistungsbegrenzung]]:
	:$${\rm max}\big[h(Y)\big] = 1/2 · \log_2 \big[2πe · (P_X + P_N)\big].$$		:$${\rm max}\big[h(Y)\big] = 1/2 · \log_2 \big[2πe · (P_X + P_N)\big].$$
	*Die Ausgangs–WDF  $f_Y(y) = f_X(x) ∗ f_N(n)$  ist aber nur dann gaußförmig, wenn sowohl  $f_X(x)$  als auch  $f_N(n)$  Gaußfunktionen sind.  Ein plakativer Merkspruch zur Faltungsoperation lautet nämlich:  '''Gauß bleibt Gauß, und Nicht–Gauß wird nie (exakt) Gauß'''.		*Die Ausgangs–WDF  $f_Y(y) = f_X(x) ∗ f_N(n)$  ist aber nur dann gaußförmig, wenn sowohl  $f_X(x)$  als auch  $f_N(n)$  Gaußfunktionen sind.  Ein plakativer Merkspruch zur Faltungsoperation lautet nämlich:  '''Gauß bleibt Gauß, und Nicht–Gauß wird nie (exakt) Gauß'''.


			[[Datei:P_ID2885__Inf_T_4_2_S4b_neu.png\|right\|frame\|Numerische Ergebnisse für die AWGN–Kanalkapazität als Funktion von  ${P_X}/{P_N}$]]
	{{BlaueBox\|TEXT=		{{BlaueBox\|TEXT=
	$\text{Fazit:}$  Beim AWGN–Kanal   ⇒   Gaußsche Rausch-WDF  $f_N(n)$  ergibt sich die  ''Kanalkapazität''  genau dann, wenn die Eingangs–WDF  $f_X(x)$  ''ebenfalls gaußförmig'' ist:		$\text{Fazit:}$  Beim AWGN–Kanal   ⇒   Gaußsche Rausch-WDF  $f_N(n)$  ergibt sich die  '''Kanalkapazität'''  genau dann, wenn die Eingangs–WDF  $f_X(x)$  ebenfalls gaußförmig ist:

	~~[[Datei:P_ID2885__Inf_T_4_2_S4b_neu.png\|right\|frame\|Numerische Ergebnisse für die AWGN–Kanalkapazität als Funktion von  ${P_X}/{P_N}$]]~~
	:$$C_{\rm AWGN} = h_{\rm max}(Y) - h(N) = 1/2 \cdot {\rm log}_2 \hspace{0.1cm} {P_Y}/{P_N}$$		:$$C_{\rm AWGN} = h_{\rm max}(Y) - h(N) = 1/2 \cdot {\rm log}_2 \hspace{0.1cm} {P_Y}/{P_N}$$
	:$$\Rightarrow \hspace{0.3cm} C_{\rm AWGN}= 1/2 \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + P_X/P_N) \hspace{0.05cm}.$$}}		:$$\Rightarrow \hspace{0.3cm} C_{\rm AWGN}= 1/2 \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + P_X/P_N) \hspace{0.05cm}.$$}}
Zeile 170:		Zeile 170:


	die wir als die  ''Gesamt–Kanalkapazität''  dieser AWGN–Konfiguration bezeichnen.		die wir als die  '''Gesamt–Kanalkapazität'''  dieser AWGN–Konfiguration bezeichnen.

	{{BlaueBox\|TEXT=		{{BlaueBox\|TEXT=
Zeile 185:		Zeile 185:
	\hspace{0.1cm} h(N_k)\hspace{0.05cm}.$$		\hspace{0.1cm} h(N_k)\hspace{0.05cm}.$$

	Dafür ~~istn~~ folgende obere Schranke angebbar:		Dafür ist folgende obere Schranke angebbar:

	:$$I(X_1,\hspace{0.05cm}\text{...}\hspace{0.05cm}, X_K\hspace{0.05cm};\hspace{0.05cm}Y_1, \hspace{0.05cm}\text{...} \hspace{0.05cm}, Y_K)		:$$I(X_1,\hspace{0.05cm}\text{...}\hspace{0.05cm}, X_K\hspace{0.05cm};\hspace{0.05cm}Y_1, \hspace{0.05cm}\text{...} \hspace{0.05cm}, Y_K)
Zeile 193:		Zeile 193:

	*Das Gleichheitszeichen (Identität) gilt bei mittelwertfreien Gaußschen Eingangsgrößen  $X_k$  sowie bei statistisch voneinander unabhängigen Störungen  $N_k$.		*Das Gleichheitszeichen (Identität) gilt bei mittelwertfreien Gaußschen Eingangsgrößen  $X_k$  sowie bei statistisch voneinander unabhängigen Störungen  $N_k$.
	*Man kommt von dieser Gleichung zur  ''maximalen Transinformation''   ⇒   ''Kanalkapazität'', wenn man die gesamte Sendeleistung  $P_X$  unter Berücksichtigung der unterschiedlichen Störungen in den einzelnen Kanälen  $(σ_k^2)$  bestmöglich aufteilt.		*Man kommt von dieser Gleichung zur  "maximalen Transinformation"   ⇒   "Kanalkapazität", wenn man die gesamte Sendeleistung  $P_X$  unter Berücksichtigung der unterschiedlichen Störungen in den einzelnen Kanälen  $(σ_k^2)$  bestmöglich aufteilt.
	*Dieses Optimierungsproblem lässt sich wieder mit dem Verfahren der  [https://de.wikipedia.org/wiki/Lagrange-Multiplikator Lagrange–Multiplikatoren]  elegant lösen.  Das folgende Beispiel erläutert nur das Ergebnis.		*Dieses Optimierungsproblem lässt sich wieder mit dem Verfahren der  [https://de.wikipedia.org/wiki/Lagrange-Multiplikator Lagrange–Multiplikatoren]  elegant lösen.  Das folgende Beispiel erläutert nur das Ergebnis.

Zeile 215:		Zeile 215:
	{{GraueBox\|TEXT=		{{GraueBox\|TEXT=
	$\text{Beispiel 2:}$		$\text{Beispiel 2:}$
	Werden alle  $K$  Gaußkanäle in gleicher Weise gestört   ⇒   $σ_1^2 = \hspace{0.15cm}\text{...}\hspace{0.15cm} = σ_K^2 = P_N$, so sollte man natürlich die gesamte zur Verfügung stehende Sendeleistung  $P_X$  gleichmäßig auf alle Kanäle verteilen:   $P_k = P_X/K$.  Für die Gesamtkapazität erhält man dann:		Werden alle  $K$  Gaußkanäle in gleicher Weise gestört   ⇒   $σ_1^2 = \hspace{0.15cm}\text{...}\hspace{0.15cm} = σ_K^2 = P_N$,  so sollte man natürlich die gesamte zur Verfügung stehende Sendeleistung  $P_X$  gleichmäßig auf alle Kanäle verteilen:   $P_k = P_X/K$.  Für die Gesamtkapazität erhält man dann:
	[[Datei:P_ID2939__Inf_T_4_2_S5_neu.png\|right\|frame\|Kapazität für  $K$  parallele Kanäle]]		[[Datei:P_ID2939__Inf_T_4_2_S5_neu.png\|right\|frame\|Kapazität für  $K$  parallele Kanäle]]
	:$$C_{\rm Gesamt}		:$$C_{\rm Gesamt}

Guenter am 19. August 2021 um 16:42 Uhr

2021-08-19T16:42:29Z

← Nächstältere Version		Version vom 19. August 2021, 18:42 Uhr
Zeile 83:		Zeile 83:


	so erkennt man als einziges Unterscheidungsmerkmal, dass jedes (große)  $H$  (Entropie; größer/gleich Null)  durch ein (kleines)  $h$  (differentielle Entropie; kann positiv, negativ oder Null sein)  ersetzt wurde.		so erkennt man als einziges Unterscheidungsmerkmal, dass jedes (große)  $H$  (Entropie;  größer/gleich Null)  durch ein (kleines)  $h$  (differentielle Entropie;  kann positiv, negativ oder Null sein)  ersetzt wurde.
	*Ansonsten ist die Transinformation in beiden Darstellungen gleich und es gilt stets  $I(X; Y) ≥ 0$.		*Ansonsten ist die Transinformation in beiden Darstellungen gleich und es gilt stets  $I(X; Y) ≥ 0$.
	*Im Folgenden verwenden wir meist den  &bdquo;Logarithmus dualis”   ⇒   $\log_2$  und erhalten somit die Transinformation in „bit”.		*Im Folgenden verwenden wir meist den  &bdquo;Logarithmus dualis”   ⇒   $\log_2$  und erhalten somit die Transinformation in „bit”.

Guenter am 19. August 2021 um 16:19 Uhr

2021-08-19T16:19:34Z

← Nächstältere Version		Version vom 19. August 2021, 18:19 Uhr
Zeile 62:		Zeile 62:
	:$$I(X;Y) = h(Y) - h(Y \hspace{-0.1cm}\mid \hspace{-0.1cm} X) =h(X) - h(X \hspace{-0.1cm}\mid \hspace{-0.1cm} Y)\hspace{0.05cm}.$$		:$$I(X;Y) = h(Y) - h(Y \hspace{-0.1cm}\mid \hspace{-0.1cm} X) =h(X) - h(X \hspace{-0.1cm}\mid \hspace{-0.1cm} Y)\hspace{0.05cm}.$$

	Diese fundamentalen informationstheoretischen Zusammenhänge kann man auch aus der rechten Grafik ablesen.		Diese fundamentalen informationstheoretischen Zusammenhänge kann man auch aus der rechten Grafik ablesen.  Diese gerichtete Darstellung ist für Nachrichtenübertragungssysteme besonders geeignet.

	~~Diese gerichtete Darstellung ist für Nachrichtenübertragungssysteme besonders geeignet~~.		Die abfließende bzw. zufließende differentielle Entropie kennzeichnen
			*die  '''Äquivokation'''  (englisch:  "Equivocation"):
			:$$h(X \hspace{-0.05cm}\mid \hspace{-0.05cm} Y) = - \hspace{-0.3cm}\int\limits_{\hspace{-0.9cm}y \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp}\hspace{0.05cm} (P_{Y}\hspace{-0.08cm})} \hspace{-1.1cm}\int\limits_{\hspace{1.3cm} x \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp}\hspace{0.05cm} (P_{X}\hspace{-0.08cm})}
			\hspace{-0.9cm} f_{XY}(x, y) \cdot {\rm log} \hspace{0.1cm} \hspace{0.1cm} \big [{f_{\hspace{0.03cm}X \mid \hspace{0.03cm} Y} (x \hspace{-0.05cm}\mid \hspace{-0.05cm} y)} \big]
			\hspace{0.15cm}{\rm d}x\hspace{0.15cm}{\rm d}y,$$

	~~Die abfließende bzw. zufließende differentielle Entropie kennzeichnen~~		*die  '''Irrelevanz'''  (englisch:  "Irrelevance"):
	*die  '''~~Äquivokation~~'''  (englisch:  ~~''Equivocation''~~):

	:$$h(X \hspace{-0.05cm}\mid \hspace{-0.05cm} Y) =\hspace{0.2cm} -\int \hspace{-0.9cm} \int\limits_{\hspace{-0.4cm}(x, y) \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp}\hspace{0.03cm} (\hspace{-0.03cm}f_{XY}\hspace{-0.08cm})}
	~~\hspace{-0.6cm} f_{XY}(x, y) \cdot {\rm log} \hspace{0.1cm} \big [{f_{\hspace{0.03cm}X \mid \hspace{0.03cm} Y} (x \hspace{-0.05cm}\mid \hspace{-0.05cm} y)} \big]~~
	~~\hspace{0.15cm}{\rm d}x\hspace{0.15cm}{\rm d}y\hspace{0.05cm},$$~~

	*die  '''Irrelevanz'''  (englisch:  ''Irrelevance''):		:$$h(Y \hspace{-0.05cm}\mid \hspace{-0.05cm} X) = - \hspace{-0.3cm}\int\limits_{\hspace{-0.9cm}y \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp}\hspace{0.05cm} (P_{Y}\hspace{-0.08cm})} \hspace{-1.1cm}\int\limits_{\hspace{1.3cm} x \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp}\hspace{0.05cm} (P_{X}\hspace{-0.08cm})}
			\hspace{-0.9cm} f_{XY}(x, y) \cdot {\rm log} \hspace{0.1cm} \hspace{0.1cm} \big [{f_{\hspace{0.03cm}Y \mid \hspace{0.03cm} X} (y \hspace{-0.05cm}\mid \hspace{-0.05cm} x)} \big]
	:$$h(Y \hspace{-0.05cm}\mid \hspace{-0.05cm} X) =~~\hspace{0.2cm}~~- ~~\int~~ \hspace{-0.~~9cm~~} \int\limits_{\hspace{-0.~~4cm~~}~~(x,~~ y) \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp}\hspace{0.~~03cm~~} (\hspace{-0.~~03cm~~}f_{XY}\hspace{-0.08cm})}		\hspace{0.15cm}{\rm d}x\hspace{0.15cm}{\rm d}y.$$
	\hspace{-0.~~6cm~~} f_{XY}(x, y) \cdot {\rm log} \hspace{0.1cm} \big [{f_{\hspace{0.03cm}Y \mid \hspace{0.03cm} X} (y \hspace{-0.05cm}\mid \hspace{-0.05cm} x)} \big]
	\hspace{0.15cm}{\rm d}x\hspace{0.15cm}{\rm d}y~~\hspace{0.05cm}~~.$$

	Auf die Bedeutung dieser beiden informationstheoretischen Größen wird in der  [[Aufgaben:4.5Z_Nochmals_Transinformation\|Aufgabe 4.5Z]]  noch genauer eingegangen.		Auf die Bedeutung dieser beiden informationstheoretischen Größen wird in der  [[Aufgaben:4.5Z_Nochmals_Transinformation\|Aufgabe 4.5Z]]  noch genauer eingegangen.
Zeile 86:		Zeile 83:


	so erkennt man als einziges Unterscheidungsmerkmal, dass jedes ~~„groß~~ $H$”  (Entropie; größer/gleich Null)  durch ein ~~„klein~~ $h$”  (differentielle Entropie, kann positiv, negativ oder Null sein)  ersetzt wurde.		so erkennt man als einziges Unterscheidungsmerkmal, dass jedes (große)  $H$  (Entropie; größer/gleich Null)  durch ein (kleines)  $h$  (differentielle Entropie; kann positiv, negativ oder Null sein)  ersetzt wurde.
	*Ansonsten ist die Transinformation in beiden Darstellungen gleich und es gilt stets  $I(X; Y) ≥ 0$.		*Ansonsten ist die Transinformation in beiden Darstellungen gleich und es gilt stets  $I(X; Y) ≥ 0$.
	*Im Folgenden verwenden wir meist den  ''Logarithmus dualis''   ⇒   $\log_2$  und erhalten somit die Transinformation in „bit”.		*Im Folgenden verwenden wir meist den  &bdquo;Logarithmus dualis”   ⇒   $\log_2$  und erhalten somit die Transinformation in „bit”.

Guenter am 19. August 2021 um 15:50 Uhr

2021-08-19T15:50:19Z

← Nächstältere Version		Version vom 19. August 2021, 17:50 Uhr
Zeile 41:		Zeile 41:
	Verwendet ist hierbei die  »differentielle Verbund–Entropie«		Verwendet ist hierbei die  »differentielle Verbund–Entropie«

	:$$h(XY) = \hspace{0.~~5cm~~} \int\limits_{\hspace{-0.9cm}y \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp}\hspace{0.05cm} (P_{Y}\hspace{-0.08cm})} \hspace{-1.1cm}\int\limits_{\hspace{1.3cm} x \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp}\hspace{0.05cm} (P_{X}\hspace{-0.08cm})}		:$$h(XY) = - \hspace{-0.3cm}\int\limits_{\hspace{-0.9cm}y \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp}\hspace{0.05cm} (P_{Y}\hspace{-0.08cm})} \hspace{-1.1cm}\int\limits_{\hspace{1.3cm} x \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp}\hspace{0.05cm} (P_{X}\hspace{-0.08cm})}
	\hspace{-0.9cm} f_{XY}(x, y) \cdot {\rm log} \hspace{0.1cm} \hspace{0.1cm} \big[f_{XY}(x, y) \big]		\hspace{-0.9cm} f_{XY}(x, y) \cdot {\rm log} \hspace{0.1cm} \hspace{0.1cm} \big[f_{XY}(x, y) \big]
	\hspace{0.15cm}{\rm d}x\hspace{0.15cm}{\rm d}y$$		\hspace{0.15cm}{\rm d}x\hspace{0.15cm}{\rm d}y$$

Guenter am 19. August 2021 um 15:45 Uhr

2021-08-19T15:45:59Z

← Nächstältere Version		Version vom 19. August 2021, 17:45 Uhr
Zeile 11:		Zeile 11:
	Im Kapitel  [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung#Informationstheoretisches_Modell_der_Digitalsignal.C3.BCbertragung\|Informationstheoretisches Modell der Digitalsignalübertragung]]  wurde die  '''Transinformation'''  (englisch:  "Mutual Information")  zwischen den beiden wertdiskreten Zufallsgrößen  $X$  und  $Y$  unter anderem in folgender Form angegeben:		Im Kapitel  [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung#Informationstheoretisches_Modell_der_Digitalsignal.C3.BCbertragung\|Informationstheoretisches Modell der Digitalsignalübertragung]]  wurde die  '''Transinformation'''  (englisch:  "Mutual Information")  zwischen den beiden wertdiskreten Zufallsgrößen  $X$  und  $Y$  unter anderem in folgender Form angegeben:

	:$$I(X;Y) = \hspace{0.~~9cm~~} \sum_{\hspace{-0.9cm}y \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp}\hspace{0.05cm} (P_{Y}\hspace{-0.08cm})} \hspace{-1.1cm}\sum_{\hspace{1.3cm} x \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp}\hspace{0.05cm} (P_{X}\hspace{-0.08cm})}		:$$I(X;Y) = \hspace{0.5cm} \sum_{\hspace{-0.9cm}y \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp}\hspace{0.05cm} (P_{Y}\hspace{-0.08cm})} \hspace{-1.1cm}\sum_{\hspace{1.3cm} x \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp}\hspace{0.05cm} (P_{X}\hspace{-0.08cm})}
	\hspace{-0.~~8cm} P_{XY}(x, y) \cdot {\rm log} \hspace{0.1cm} \frac{ P_{XY}(x, y)}{P_{X}(x) \cdot P_{Y}(y)} \hspace{0.05cm}.$$~~		\hspace{-0.9cm} P_{XY}(x, y) \cdot {\rm log} \hspace{0.1cm} \frac{ P_{XY}(x, y)}{P_{X}(x) \cdot P_{Y}(y)} \hspace{0.05cm}.$$
	~~:$$I(X;Y) = \hspace{-0.4cm} \sum_{(x,\hspace{0.05cm} y) \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp}\hspace{0.05cm} (P_{XY}\hspace{-0.08cm})}~~
	~~\hspace{-0.8cm~~} P_{XY}(x, y) \cdot {\rm log} \hspace{0.1cm} \frac{ P_{XY}(x, y)}{P_{X}(x) \cdot P_{Y}(y)} \hspace{0.05cm}.$$

	Diese Gleichung entspricht gleichzeitig der  [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Relative_Entropie_.E2.80.93_Kullback.E2.80.93Leibler.E2.80.93Distanz\|"Kullback–Leibler–Distanz"]]  (kurz "KLD") zwischen der Verbundwahrscheinlichkeitsfunktion  $P_{XY}$  und dem Produkt der beiden Einzelwahrscheinlichkeitsfunktionen  $P_X$  und  $P_Y$:		Diese Gleichung entspricht gleichzeitig der  [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Relative_Entropie_.E2.80.93_Kullback.E2.80.93Leibler.E2.80.93Distanz\|"Kullback–Leibler–Distanz"]]  (kurz "KLD") zwischen der Verbundwahrscheinlichkeitsfunktion  $P_{XY}$  und dem Produkt der beiden Einzelwahrscheinlichkeitsfunktionen  $P_X$  und  $P_Y$:
Zeile 31:		Zeile 29:
	*Aus der Doppelsumme in der obigen Gleichung wird nach der Umbenennung  $Δx → {\rm d}x$  bzw.  $Δy → {\rm d}y$  die für wertkontinuierliche Zufallsgrößen gültige Gleichung:		*Aus der Doppelsumme in der obigen Gleichung wird nach der Umbenennung  $Δx → {\rm d}x$  bzw.  $Δy → {\rm d}y$  die für wertkontinuierliche Zufallsgrößen gültige Gleichung:

	:$$I(X;Y) = \hspace{0.~~2cm~~} \int \hspace{-0.9cm} \int\limits_{\hspace{-0.~~4cm~~}(x~~, y)~~ \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} \hspace{0.~~03cm~~} (~~\hspace{-0.03cm}f_~~{XY}\hspace{-0.08cm})}		:$$I(X;Y) = \hspace{0.5cm} \int\limits_{\hspace{-0.9cm}y \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp}\hspace{0.05cm} (P_{Y}\hspace{-0.08cm})} \hspace{-1.1cm}\int\limits_{\hspace{1.3cm} x \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp}\hspace{0.05cm} (P_{X}\hspace{-0.08cm})}
	\hspace{-0.~~6cm~~} f_{XY}(x, y) \cdot {\rm log} \hspace{0.1cm} \frac{ f_{XY}(x, y) }		\hspace{-0.9cm} f_{XY}(x, y) \cdot {\rm log} \hspace{0.1cm} \frac{ f_{XY}(x, y) }
	{f_{X}(x) \cdot f_{Y}(y)}		{f_{X}(x) \cdot f_{Y}(y)}
	\hspace{0.15cm}{\rm d}x\hspace{0.15cm}{\rm d}y \hspace{0.05cm}.$$		\hspace{0.15cm}{\rm d}x\hspace{0.15cm}{\rm d}y \hspace{0.05cm}.$$
Zeile 41:		Zeile 39:
	:$$I(X;Y) = h(X) + h(Y) - h(XY)\hspace{0.05cm}.$$		:$$I(X;Y) = h(X) + h(Y) - h(XY)\hspace{0.05cm}.$$

	Verwendet ist hierbei die ''differentielle Verbund–Entropie''		Verwendet ist hierbei die  »differentielle Verbund–Entropie«

	:$$h(XY) = -\hspace{0.~~2cm~~} \int \hspace{-0.9cm} \int\limits_{\hspace{-0.~~4cm~~}(x~~, y)~~ \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} \hspace{0.~~03cm~~} (~~\hspace{-0.03cm}f_~~{XY}\hspace{-0.08cm})}		:$$h(XY) = \hspace{0.5cm} \int\limits_{\hspace{-0.9cm}y \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp}\hspace{0.05cm} (P_{Y}\hspace{-0.08cm})} \hspace{-1.1cm}\int\limits_{\hspace{1.3cm} x \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp}\hspace{0.05cm} (P_{X}\hspace{-0.08cm})}
	\hspace{-0.~~6cm~~} f_{XY}(x, y) \cdot {\rm log} \hspace{0.1cm} \big[f_{XY}(x, y) \big]		\hspace{-0.9cm} f_{XY}(x, y) \cdot {\rm log} \hspace{0.1cm} \hspace{0.1cm} \big[f_{XY}(x, y) \big]
	\hspace{0.15cm}{\rm d}x\hspace{0.15cm}{\rm d}y$$		\hspace{0.15cm}{\rm d}x\hspace{0.15cm}{\rm d}y$$

	sowie die beiden ''differentiellen Einzel–Entropien''		sowie die beiden  »differentiellen Einzel–Entropien«

	:$$h(X) = -\hspace{-0.7cm} \int\limits_{x \hspace{0.05cm}\in \hspace{0.05cm}{\rm supp}\hspace{0.03cm} (\hspace{-0.03cm}f_X)} \hspace{-0.35cm} f_X(x) \cdot {\rm log} \hspace{0.1cm} \big[f_X(x)\big] \hspace{0.1cm}{\rm d}x		:$$h(X) = -\hspace{-0.7cm} \int\limits_{x \hspace{0.05cm}\in \hspace{0.05cm}{\rm supp}\hspace{0.03cm} (\hspace{-0.03cm}f_X)} \hspace{-0.35cm} f_X(x) \cdot {\rm log} \hspace{0.1cm} \big[f_X(x)\big] \hspace{0.1cm}{\rm d}x

Guenter am 19. August 2021 um 15:06 Uhr

2021-08-19T15:06:38Z

← Nächstältere Version		Version vom 19. August 2021, 17:06 Uhr
Zeile 9:		Zeile 9:
	==Transinformation zwischen wertkontinuierlichen Zufallsgrößen ==		==Transinformation zwischen wertkontinuierlichen Zufallsgrößen ==
	<br>		<br>
	Im Kapitel  [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung#Informationstheoretisches_Modell_der_Digitalsignal.C3.BCbertragung\|Informationstheoretisches Modell der Digitalsignalübertragung]]  wurde die  ''Transinformation''  (englisch:  ''Mutual Information'')  zwischen den beiden wertdiskreten Zufallsgrößen  $X$  und  $Y$  unter anderem in folgender Form angegeben:		Im Kapitel  [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung#Informationstheoretisches_Modell_der_Digitalsignal.C3.BCbertragung\|Informationstheoretisches Modell der Digitalsignalübertragung]]  wurde die  '''Transinformation'''  (englisch:  "Mutual Information")  zwischen den beiden wertdiskreten Zufallsgrößen  $X$  und  $Y$  unter anderem in folgender Form angegeben:

			:$$I(X;Y) = \hspace{0.9cm} \sum_{\hspace{-0.9cm}y \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp}\hspace{0.05cm} (P_{Y}\hspace{-0.08cm})} \hspace{-1.1cm}\sum_{\hspace{1.3cm} x \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp}\hspace{0.05cm} (P_{X}\hspace{-0.08cm})}
			\hspace{-0.8cm} P_{XY}(x, y) \cdot {\rm log} \hspace{0.1cm} \frac{ P_{XY}(x, y)}{P_{X}(x) \cdot P_{Y}(y)} \hspace{0.05cm}.$$
	:$$I(X;Y) = \hspace{-0.4cm} \sum_{(x,\hspace{0.05cm} y) \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp}\hspace{0.05cm} (P_{XY}\hspace{-0.08cm})}		:$$I(X;Y) = \hspace{-0.4cm} \sum_{(x,\hspace{0.05cm} y) \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp}\hspace{0.05cm} (P_{XY}\hspace{-0.08cm})}
	\hspace{-0.8cm} P_{XY}(x, y) \cdot {\rm log} \hspace{0.1cm} \frac{ P_{XY}(x, y)}{P_{X}(x) \cdot P_{Y}(y)} \hspace{0.05cm}.$$		\hspace{-0.8cm} P_{XY}(x, y) \cdot {\rm log} \hspace{0.1cm} \frac{ P_{XY}(x, y)}{P_{X}(x) \cdot P_{Y}(y)} \hspace{0.05cm}.$$

	Diese Gleichung entspricht gleichzeitig der  [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Relative_Entropie_.E2.80.93_Kullback.E2.80.93Leibler.E2.80.93Distanz\|Kullback–Leibler–Distanz]]  (kurz KLD) zwischen der Verbundwahrscheinlichkeitsfunktion  $P_{XY}$  und dem Produkt der beiden Einzelwahrscheinlichkeitsfunktionen  $P_X$  und  $P_Y$ :		Diese Gleichung entspricht gleichzeitig der  [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Relative_Entropie_.E2.80.93_Kullback.E2.80.93Leibler.E2.80.93Distanz\|"Kullback–Leibler–Distanz"]]  (kurz "KLD") zwischen der Verbundwahrscheinlichkeitsfunktion  $P_{XY}$  und dem Produkt der beiden Einzelwahrscheinlichkeitsfunktionen  $P_X$  und  $P_Y$:

	:$$I(X;Y) = D(P_{XY} \hspace{0.05cm} \|\| \hspace{0.05cm}P_{X} \cdot P_{Y}) \hspace{0.05cm}.$$		:$$I(X;Y) = D(P_{XY} \hspace{0.05cm} \|\| \hspace{0.05cm}P_{X} \cdot P_{Y}) \hspace{0.05cm}.$$

	Um daraus die Transinformation  $I(X; Y)$  zwischen zwei wertkontinuierlichen Zufallsgrößen  $X$  und  $Y$  abzuleiten, geht man wie folgt vor, wobei Hochkommata auf eine quantisierte Größe hinweisen:		Um daraus die Transinformation  $I(X; Y)$  zwischen zwei wertkontinuierlichen Zufallsgrößen  $X$  und  $Y$  abzuleiten,  geht man wie folgt vor,  wobei Hochkommata auf eine quantisierte Größe hinweisen:
	*Man quantisiert die Zufallsgrößen  $X$  und  $Y$  $($mit den Quantisierungsintervallen  ${\it Δ}x$  und  ${\it Δ}y)$  und erhält so die Wahrscheinlichkeitsfunktionen  $P_{X\hspace{0.01cm}′}$  und  $P_{Y\hspace{0.01cm}′}$.		*Man quantisiert die Zufallsgrößen  $X$  und  $Y$  $($mit den Quantisierungsintervallen  ${\it Δ}x$  und  ${\it Δ}y)$  und erhält so die Wahrscheinlichkeitsfunktionen  $P_{X\hspace{0.01cm}′}$  und  $P_{Y\hspace{0.01cm}′}$.
	*Die „Vektoren”  $P_{X\hspace{0.01cm}′}$  und  $P_{Y\hspace{0.01cm}′}$  werden nach den Grenzübergängen  ${\it Δ}x → 0,~~ ~~ {\it Δ}y → 0$  unendlich lang, und auch die Verbund–PMF  $P_{X\hspace{0.01cm}′\hspace{0.08cm}Y\hspace{0.01cm}′}$  ist dann in der Fläche unendlich weit ausgedehnt.		*Die „Vektoren”  $P_{X\hspace{0.01cm}′}$  und  $P_{Y\hspace{0.01cm}′}$  werden nach den Grenzübergängen  ${\it Δ}x → 0,\hspace{0.15cm}{\it Δ}y → 0$  unendlich lang, und auch die Verbund–PMF  $P_{X\hspace{0.01cm}′\hspace{0.08cm}Y\hspace{0.01cm}′}$  ist dann in der Fläche unendlich weit ausgedehnt.
	*Durch diese Grenzübergänge ergeben sich die Wahrscheinlichkeitsdichtefunktionen der kontinuierlichen Zufallsgrößen entsprechend den folgenden Gleichungen:		*Durch diese Grenzübergänge ergeben sich die Wahrscheinlichkeitsdichtefunktionen der kontinuierlichen Zufallsgrößen entsprechend den folgenden Gleichungen:

Guenter am 12. Februar 2020 um 15:03 Uhr

2020-02-12T15:03:29Z

Änderungen zeigen