Informationstheorie/AWGN–Kanalkapazität bei wertkontinuierlichem Eingang - Versionsgeschichte

Guenter am 20. August 2021 um 14:16 Uhr

2021-08-20T14:16:37Z

Guenter am 20. August 2021 um 11:49 Uhr

2021-08-20T11:49:06Z

Guenter am 19. August 2021 um 16:42 Uhr

2021-08-19T16:42:29Z

Guenter am 19. August 2021 um 16:19 Uhr

2021-08-19T16:19:34Z

Guenter am 19. August 2021 um 15:50 Uhr

2021-08-19T15:50:19Z

Guenter am 19. August 2021 um 15:45 Uhr

2021-08-19T15:45:59Z

Guenter am 19. August 2021 um 15:06 Uhr

2021-08-19T15:06:38Z

Guenter am 12. Februar 2020 um 15:03 Uhr

2020-02-12T15:03:29Z

Guenter am 12. Februar 2020 um 14:26 Uhr

2020-02-12T14:26:19Z

Guenter am 12. Februar 2020 um 14:22 Uhr

2020-02-12T14:22:51Z

@@ Zeile 92: / Zeile 92: @@
 Wir betrachten nun ein sehr einfaches Modell der Nachrichtenübertragung:
 *Die Zufallsgröße&nbsp; $X$&nbsp; steht für das (mittelwertfreie) Sendesignal und ist durch die WDF&nbsp; $f_X(x)$&nbsp; und die Varianz&nbsp; $σ_X^2$&nbsp; gekennzeichnet.&nbsp; Die Sendeleistung ist $P_X = σ_X^2$.
-*Die additive Störung&nbsp; $N$&nbsp; ist durch die WDF&nbsp; $f_N(n)$&nbsp; und die Störleistung&nbsp; $P_N = σ_N^2$&nbsp; gegeben.
+*Die additive Störung&nbsp; $N$&nbsp; ist durch die&nbsp; (mittelwertfreie)&nbsp; WDF&nbsp; $f_N(n)$&nbsp; und die Störleistung&nbsp; $P_N = σ_N^2$&nbsp; gegeben.
 *Wenn&nbsp; $X$&nbsp; und&nbsp; $N$&nbsp; als statistisch unabhängig angenommen werden &nbsp; &rArr; &nbsp; signalunabhängiges Rauschen, dann gilt&nbsp; $\text{E}\big[X · N \big] = \text{E}\big[X \big] · \text{E}\big[N\big] = 0$ .
 *Das Empfangssignal ist &nbsp;$Y = X + N$.&nbsp; Die Ausgangs–WDF&nbsp; $f_Y(y)$&nbsp; ist mit der [[Signaldarstellung/Faltungssatz_und_Faltungsoperation#Faltung_im_Zeitbereich|Faltungsoperation]]&nbsp; berechenbar  &nbsp; ⇒ &nbsp;  $f_Y(y) = f_X(x) ∗ f_N(n)$.
@@ Zeile 188: / Zeile 188: @@
 :$$I(X_1,\hspace{0.05cm}\text{...}\hspace{0.05cm}, X_K\hspace{0.05cm};\hspace{0.05cm}Y_1, \hspace{0.05cm}\text{...} \hspace{0.05cm}, Y_K)
-\hspace{0.2cm} \le \hspace{0.1cm} \hspace{0.1cm} \sum_{k= 1}^K  \hspace{0.1cm} \big[h(Y_k - h(N_k)\big]
+\hspace{0.2cm} \le \hspace{0.1cm} \hspace{0.1cm} \sum_{k= 1}^K  \hspace{0.1cm} \big[h(Y_k) - h(N_k)\big]
 \hspace{0.2cm} \le \hspace{0.1cm} 1/2 \cdot \sum_{k= 1}^K  \hspace{0.1cm} {\rm log}_2 \hspace{0.1cm} ( 1 + {P_k}/{\sigma_k^2})
 \hspace{0.05cm}.$$

@@ Zeile 97: / Zeile 97: @@
 [[Datei:Inf_T_4_2_S3neu.png|right|frame|Nachrichtenübertragungssystem mit additiver Störung]]
-* Für die Empfangsleistung (Varianz) gilt:
+* Für die Empfangsleistung&nbsp; (Varianz)&nbsp; gilt:
 :$$P_Y = \sigma_Y^2 = {\rm E}\big[Y^2\big] = {\rm E}\big[(X+N)^2\big] =  {\rm E}\big[X^2\big] +  {\rm E}\big[N^2\big] = \sigma_X^2 + \sigma_N^2 $$
@@ Zeile 107: / Zeile 107: @@
 Zur Berechnung der Transinformation zwischen dem Eingang&nbsp; $X$&nbsp; und dem Ausgang&nbsp; $Y$&nbsp; gibt es entsprechend dem&nbsp; [[Informationstheorie/AWGN–Kanalkapazität_bei_wertkontinuierlichem_Eingang#Zur_.C3.84quivokation_und_Irrelevanz|Schaubild auf der vorherigen Seite]]&nbsp; drei Möglichkeiten:
 * Berechnung entsprechend &nbsp;$I(X, Y) = h(X) + h(Y) - h(XY)$:
-:Die beiden ersten Terme sind aus &nbsp;$f_X(x)$&nbsp; bzw. &nbsp;$f_Y(y)$&nbsp; in einfacher Weise berechenbar.&nbsp; Problematisch ist die&nbsp; ''differentielle Verbundentropie'' &nbsp;$h(XY)$.&nbsp; Hierzu benötigt man die 2D–Verbund–WDF &nbsp;$f_{XY}(x, y)$, die meist nicht direkt gegeben ist.
+:Die beiden ersten Terme sind aus &nbsp;$f_X(x)$&nbsp; bzw. &nbsp;$f_Y(y)$&nbsp; in einfacher Weise berechenbar.&nbsp; Problematisch ist die&nbsp; &raquo;differentielle Verbundentropie&laquo; &nbsp;$h(XY)$.&nbsp; Hierzu benötigt man die 2D–Verbund–WDF &nbsp;$f_{XY}(x, y)$, die meist nicht direkt gegeben ist.
 * Berechnung entsprechend &nbsp;$I(X, Y) = h(Y) - h(Y|X)$:
-:Hierbei bezeichnet &nbsp;$h(Y|X)$&nbsp; die&nbsp; ''differentielle Streuentropie''.&nbsp; Es gilt &nbsp;$h(Y|X) = h(X + N|X) = h(N)$, so dass &nbsp;$I(X; Y)$&nbsp; bei Kenntnis von $f_X(x)$&nbsp; und $f_N(n)$&nbsp; über die Gleichung &nbsp;$f_Y(y) = f_X(x) ∗ f_N(n)$&nbsp; sehr einfach zu berechnen ist.
+:Hierbei bezeichnet &nbsp;$h(Y|X)$&nbsp; die&nbsp; &raquo;differentielle Streuentropie&laquo;.&nbsp; Es gilt &nbsp;$h(Y|X) = h(X + N|X) = h(N)$, so dass &nbsp;$I(X; Y)$&nbsp; bei Kenntnis von $f_X(x)$&nbsp; und $f_N(n)$&nbsp; über die Gleichung &nbsp;$f_Y(y) = f_X(x) ∗ f_N(n)$&nbsp; sehr einfach zu berechnen ist.
 * Berechnung entsprechend &nbsp;$I(X, Y) = h(X) - h(X|Y)$:
-:Nach dieser Gleichung benötigt man allerdings die differentielle Rückschlussentropie &nbsp;$h(X|Y)$, die schwieriger angebbar ist als &nbsp;$h(Y|X)$.
+:Nach dieser Gleichung benötigt man allerdings die&nbsp; &raquo; differentielle Rückschlussentropie&laquo; &nbsp;$h(X|Y)$, die schwieriger angebbar ist als &nbsp;$h(Y|X)$.
 {{BlaueBox|TEXT=
-$\text{Fazit:}$&nbsp; Im Folgenden verwenden wir die mittlere Gleichung und schreiben für die Transinformation zwischen dem Eingang&nbsp; $X$&nbsp; und dem Ausgang&nbsp; $Y$&nbsp; eines&nbsp; ''Nachrichtenübertragungssystems bei additiver und unkorrelierter Störung''&nbsp; $N$:
+$\text{Fazit:}$&nbsp; Im Folgenden verwenden wir die mittlere Gleichung und schreiben für die Transinformation zwischen dem Eingang&nbsp; $X$&nbsp; und dem Ausgang&nbsp; $Y$&nbsp; eines&nbsp; Nachrichtenübertragungssystems bei additiver und unkorrelierter Störung&nbsp; $N$:
 :$$I(X;Y) \hspace{-0.05cm} = \hspace{-0.01cm} h(Y) \hspace{-0.01cm}- \hspace{-0.01cm}h(N) \hspace{-0.01cm}=\hspace{-0.05cm}
@@ Zeile 130: / Zeile 130: @@
 - \hspace{0.05cm}{n^2}/(2 \sigma_N^2) } \hspace{0.05cm}, $$
-so erhalten wir das rechts skizzierte Modell zur Berechnung der Kanalkapazität des so genannten&nbsp; [[Modulationsverfahren/Qualitätskriterien#Einige_Anmerkungen_zum_AWGN.E2.80.93Kanalmodell|AWGN–Kanals]]&nbsp; (''Additive White Gaussian Noise'').&nbsp; Meist ersetzen wir im Folgenden&nbsp; $\sigma_N^2$&nbsp; durch&nbsp; $P_N$.
+so erhalten wir das rechts skizzierte Modell zur Berechnung der Kanalkapazität des so genannten&nbsp; [[Modulationsverfahren/Qualitätskriterien#Einige_Anmerkungen_zum_AWGN.E2.80.93Kanalmodell|AWGN–Kanals]]&nbsp; ("Additive White Gaussian Noise").&nbsp; Meist ersetzen wir im Folgenden die Varianz&nbsp; $\sigma_N^2$&nbsp; durch die Leistung&nbsp; $P_N$.
 <br clear=all>
 Aus vorherigen Abschnitten wissen wir:
@@ Zeile 139: / Zeile 139: @@
 \hspace{0.05cm}.$$
-:Es ist bereits berücksichtigt, dass sich die Maximierung allein auf die differentielle Entropie &nbsp;$h(Y)$ &nbsp; ⇒ &nbsp; WDF &nbsp;$f_Y(y)$&nbsp; bezieht.&nbsp;  Bei gegebener Störleistung&nbsp;  $P_N$&nbsp;  ist nämlich &nbsp;$h(N) = 1/2 · \log_2 (2π{\rm e} · P_N)$&nbsp; eine Konstante.
+:Es ist bereits berücksichtigt, dass sich die Maximierung allein auf die differentielle Entropie &nbsp;$h(Y)$ &nbsp; ⇒ &nbsp; Wahrscheinlichkeitsdichtefunktion &nbsp;$f_Y(y)$&nbsp; bezieht.&nbsp;  Bei gegebener Störleistung&nbsp;  $P_N$&nbsp;  ist nämlich &nbsp;$h(N) = 1/2 · \log_2 (2π{\rm e} · P_N)$&nbsp; eine Konstante.
-*Das Maximum für &nbsp;$h(Y)$&nbsp; erhält man für eine Gaußsche WDF &nbsp;$f_Y(y)$&nbsp; mit &nbsp;$P_Y = P_X + P_N$&nbsp;t, siehe Seite&nbsp; [[Informationstheorie/Differentielle_Entropie#Beweis:_Maximale_differentielle_Entropie_bei_Leistungsbegrenzung|Maximale differentielle Entropie bei Leistungsbegrenzung]]:
+*Das Maximum für &nbsp;$h(Y)$&nbsp; erhält man für eine Gaußsche WDF &nbsp;$f_Y(y)$&nbsp; mit &nbsp;$P_Y = P_X + P_N$&nbsp;t, siehe&nbsp; [[Informationstheorie/Differentielle_Entropie#Beweis:_Maximale_differentielle_Entropie_bei_Leistungsbegrenzung|Maximale differentielle Entropie bei Leistungsbegrenzung]]:
 :$${\rm max}\big[h(Y)\big] = 1/2 · \log_2 \big[2πe · (P_X + P_N)\big].$$
 *Die Ausgangs–WDF &nbsp;$f_Y(y) = f_X(x) ∗ f_N(n)$&nbsp; ist aber nur dann gaußförmig, wenn sowohl&nbsp;  $f_X(x)$&nbsp;  als auch&nbsp;  $f_N(n)$&nbsp;  Gaußfunktionen sind.&nbsp; Ein plakativer Merkspruch zur Faltungsoperation lautet nämlich:&nbsp; '''Gauß bleibt Gauß, und Nicht–Gauß wird nie (exakt) Gauß'''.
 {{BlaueBox|TEXT=
-$\text{Fazit:}$&nbsp; Beim AWGN–Kanal &nbsp; ⇒ &nbsp; Gaußsche Rausch-WDF &nbsp;$f_N(n)$&nbsp; ergibt sich die&nbsp; ''Kanalkapazität''&nbsp; genau dann, wenn die Eingangs–WDF &nbsp;$f_X(x)$&nbsp; ''ebenfalls gaußförmig'' ist:
+$\text{Fazit:}$&nbsp; Beim AWGN–Kanal &nbsp; ⇒ &nbsp; Gaußsche Rausch-WDF &nbsp;$f_N(n)$&nbsp; ergibt sich die&nbsp; '''Kanalkapazität'''&nbsp; genau dann, wenn die Eingangs–WDF &nbsp;$f_X(x)$&nbsp; ebenfalls gaußförmig ist:
 :$$C_{\rm AWGN} = h_{\rm max}(Y) - h(N) = 1/2 \cdot  {\rm log}_2 \hspace{0.1cm} {P_Y}/{P_N}$$
 :$$\Rightarrow \hspace{0.3cm} C_{\rm AWGN}=  1/2 \cdot  {\rm log}_2 \hspace{0.1cm} ( 1 + P_X/P_N) \hspace{0.05cm}.$$}}
@@ Zeile 170: / Zeile 170: @@
-die wir als die&nbsp; ''Gesamt–Kanalkapazität''&nbsp; dieser AWGN–Konfiguration bezeichnen.
+die wir als die&nbsp; '''Gesamt–Kanalkapazität'''&nbsp; dieser AWGN–Konfiguration bezeichnen.
 {{BlaueBox|TEXT=
@@ Zeile 185: / Zeile 185: @@
   \hspace{0.1cm} h(N_k)\hspace{0.05cm}.$$
-Dafür istn folgende obere Schranke angebbar:
+Dafür ist folgende obere Schranke angebbar:
 :$$I(X_1,\hspace{0.05cm}\text{...}\hspace{0.05cm}, X_K\hspace{0.05cm};\hspace{0.05cm}Y_1, \hspace{0.05cm}\text{...} \hspace{0.05cm}, Y_K)
@@ Zeile 193: / Zeile 193: @@
 *Das Gleichheitszeichen (Identität) gilt bei mittelwertfreien Gaußschen Eingangsgrößen&nbsp; $X_k$&nbsp; sowie bei statistisch voneinander unabhängigen Störungen&nbsp; $N_k$.
-*Man kommt von dieser Gleichung zur&nbsp; ''maximalen Transinformation'' &nbsp;  ⇒ &nbsp;  ''Kanalkapazität'', wenn man die gesamte Sendeleistung&nbsp; $P_X$&nbsp; unter Berücksichtigung der unterschiedlichen Störungen in den einzelnen Kanälen &nbsp;$(σ_k^2)$&nbsp; bestmöglich aufteilt.
+*Man kommt von dieser Gleichung zur&nbsp; "maximalen Transinformation" &nbsp;  ⇒ &nbsp;  "Kanalkapazität", wenn man die gesamte Sendeleistung&nbsp; $P_X$&nbsp; unter Berücksichtigung der unterschiedlichen Störungen in den einzelnen Kanälen &nbsp;$(σ_k^2)$&nbsp; bestmöglich aufteilt.
 *Dieses Optimierungsproblem lässt sich wieder mit dem Verfahren der&nbsp; [https://de.wikipedia.org/wiki/Lagrange-Multiplikator Lagrange–Multiplikatoren]&nbsp; elegant lösen.&nbsp; Das folgende Beispiel erläutert nur das Ergebnis.
@@ Zeile 215: / Zeile 215: @@
 {{GraueBox|TEXT=
 $\text{Beispiel 2:}$&nbsp;
-Werden alle&nbsp; $K$&nbsp; Gaußkanäle in gleicher Weise gestört &nbsp; ⇒ &nbsp; $σ_1^2 = \hspace{0.15cm}\text{...}\hspace{0.15cm} = σ_K^2 = P_N$, so sollte man natürlich die gesamte zur Verfügung stehende Sendeleistung&nbsp; $P_X$&nbsp; gleichmäßig auf alle Kanäle verteilen: &nbsp; $P_k = P_X/K$.&nbsp; Für die Gesamtkapazität erhält man dann:
+Werden alle&nbsp; $K$&nbsp; Gaußkanäle in gleicher Weise gestört &nbsp; ⇒ &nbsp; $σ_1^2 = \hspace{0.15cm}\text{...}\hspace{0.15cm} = σ_K^2 = P_N$,&nbsp; so sollte man natürlich die gesamte zur Verfügung stehende Sendeleistung&nbsp; $P_X$&nbsp; gleichmäßig auf alle Kanäle verteilen: &nbsp; $P_k = P_X/K$.&nbsp; Für die Gesamtkapazität erhält man dann:
 [[Datei:P_ID2939__Inf_T_4_2_S5_neu.png|right|frame|Kapazität für&nbsp; $K$&nbsp;  parallele Kanäle]]
 :$$C_{\rm Gesamt}

@@ Zeile 83: / Zeile 83: @@
-so erkennt man als einziges Unterscheidungsmerkmal, dass jedes (große)&nbsp; $H$&nbsp; (Entropie; größer/gleich Null)&nbsp; durch ein (kleines)&nbsp; $h$&nbsp; (differentielle Entropie; kann positiv, negativ oder Null sein)&nbsp; ersetzt wurde.
+so erkennt man als einziges Unterscheidungsmerkmal, dass jedes (große)&nbsp; $H$&nbsp; (Entropie;&nbsp; größer/gleich Null)&nbsp; durch ein (kleines)&nbsp; $h$&nbsp; (differentielle Entropie;&nbsp; kann positiv, negativ oder Null sein)&nbsp; ersetzt wurde.
 *Ansonsten ist die Transinformation in beiden Darstellungen gleich und es gilt stets &nbsp;$I(X; Y) ≥ 0$.
 *Im Folgenden verwenden wir meist den&nbsp; &bdquo;Logarithmus dualis&rdquo;  &nbsp; ⇒  &nbsp;  $\log_2$&nbsp; und erhalten somit die Transinformation in „bit”.

@@ Zeile 62: / Zeile 62: @@
 :$$I(X;Y) = h(Y) - h(Y \hspace{-0.1cm}\mid \hspace{-0.1cm} X) =h(X) - h(X \hspace{-0.1cm}\mid \hspace{-0.1cm} Y)\hspace{0.05cm}.$$
-Diese fundamentalen informationstheoretischen Zusammenhänge kann man auch aus der rechten Grafik ablesen.&nbsp;
+Diese fundamentalen informationstheoretischen Zusammenhänge kann man auch aus der rechten Grafik ablesen.&nbsp; Diese gerichtete Darstellung ist für Nachrichtenübertragungssysteme besonders geeignet.
-Diese gerichtete Darstellung ist für Nachrichtenübertragungssysteme besonders geeignet.
+Die abfließende bzw. zufließende differentielle Entropie kennzeichnen
-Die abfließende bzw. zufließende differentielle Entropie kennzeichnen
+*die&nbsp; '''Irrelevanz'''&nbsp; (englisch:&nbsp; "Irrelevance"):
-*die&nbsp; '''Irrelevanz'''&nbsp; (englisch:&nbsp; ''Irrelevance''):
+:$$h(Y \hspace{-0.05cm}\mid \hspace{-0.05cm} X)   = - \hspace{-0.3cm}\int\limits_{\hspace{-0.9cm}y \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp}\hspace{0.05cm} (P_{Y}\hspace{-0.08cm})} \hspace{-1.1cm}\int\limits_{\hspace{1.3cm} x \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp}\hspace{0.05cm} (P_{X}\hspace{-0.08cm})}
+  \hspace{-0.9cm} f_{XY}(x, y) \cdot {\rm log} \hspace{0.1cm} \hspace{0.1cm} \big [{f_{\hspace{0.03cm}Y \mid \hspace{0.03cm} X} (y \hspace{-0.05cm}\mid \hspace{-0.05cm} x)} \big]
-:$$h(Y \hspace{-0.05cm}\mid \hspace{-0.05cm} X) =\hspace{0.2cm}- \int \hspace{-0.9cm} \int\limits_{\hspace{-0.4cm}(x, y) \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp}\hspace{0.03cm} (\hspace{-0.03cm}f_{XY}\hspace{-0.08cm})}
+  \hspace{0.15cm}{\rm d}x\hspace{0.15cm}{\rm d}y.$$
 Auf die Bedeutung dieser beiden informationstheoretischen Größen wird in der&nbsp; [[Aufgaben:4.5Z_Nochmals_Transinformation|Aufgabe 4.5Z]]&nbsp; noch genauer eingegangen.
@@ Zeile 86: / Zeile 83: @@
-so erkennt man als einziges Unterscheidungsmerkmal, dass jedes „groß $H$”&nbsp; (Entropie; größer/gleich Null)&nbsp; durch ein „klein $h$”&nbsp; (differentielle Entropie, kann positiv, negativ oder Null sein)&nbsp; ersetzt wurde.
+so erkennt man als einziges Unterscheidungsmerkmal, dass jedes (große)&nbsp; $H$&nbsp; (Entropie; größer/gleich Null)&nbsp; durch ein (kleines)&nbsp; $h$&nbsp; (differentielle Entropie; kann positiv, negativ oder Null sein)&nbsp; ersetzt wurde.
 *Ansonsten ist die Transinformation in beiden Darstellungen gleich und es gilt stets &nbsp;$I(X; Y) ≥ 0$.
-*Im Folgenden verwenden wir meist den&nbsp; ''Logarithmus dualis''  &nbsp; ⇒  &nbsp;  $\log_2$&nbsp; und erhalten somit die Transinformation in „bit”.
+*Im Folgenden verwenden wir meist den&nbsp; &bdquo;Logarithmus dualis&rdquo;  &nbsp; ⇒  &nbsp;  $\log_2$&nbsp; und erhalten somit die Transinformation in „bit”.

@@ Zeile 41: / Zeile 41: @@
 Verwendet ist hierbei die&nbsp; &raquo;differentielle Verbund–Entropie&laquo;
-:$$h(XY)   = \hspace{0.5cm} \int\limits_{\hspace{-0.9cm}y \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp}\hspace{0.05cm} (P_{Y}\hspace{-0.08cm})} \hspace{-1.1cm}\int\limits_{\hspace{1.3cm} x \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp}\hspace{0.05cm} (P_{X}\hspace{-0.08cm})}
+:$$h(XY)   = - \hspace{-0.3cm}\int\limits_{\hspace{-0.9cm}y \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp}\hspace{0.05cm} (P_{Y}\hspace{-0.08cm})} \hspace{-1.1cm}\int\limits_{\hspace{1.3cm} x \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp}\hspace{0.05cm} (P_{X}\hspace{-0.08cm})}
   \hspace{-0.9cm} f_{XY}(x, y) \cdot {\rm log} \hspace{0.1cm} \hspace{0.1cm} \big[f_{XY}(x, y) \big]
   \hspace{0.15cm}{\rm d}x\hspace{0.15cm}{\rm d}y$$

@@ Zeile 11: / Zeile 11: @@
 Im Kapitel &nbsp;[[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung#Informationstheoretisches_Modell_der_Digitalsignal.C3.BCbertragung|Informationstheoretisches Modell der Digitalsignalübertragung]]&nbsp; wurde die&nbsp; '''Transinformation'''&nbsp; (englisch:&nbsp; "Mutual Information")&nbsp; zwischen den beiden wertdiskreten Zufallsgrößen&nbsp; $X$&nbsp; und&nbsp; $Y$&nbsp; unter anderem in folgender Form angegeben:
-:$$I(X;Y) = \hspace{0.9cm} \sum_{\hspace{-0.9cm}y \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp}\hspace{0.05cm} (P_{Y}\hspace{-0.08cm})} \hspace{-1.1cm}\sum_{\hspace{1.3cm} x \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp}\hspace{0.05cm} (P_{X}\hspace{-0.08cm})}
+:$$I(X;Y) = \hspace{0.5cm} \sum_{\hspace{-0.9cm}y \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp}\hspace{0.05cm} (P_{Y}\hspace{-0.08cm})} \hspace{-1.1cm}\sum_{\hspace{1.3cm} x \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp}\hspace{0.05cm} (P_{X}\hspace{-0.08cm})}
-  \hspace{-0.8cm} P_{XY}(x, y) \cdot {\rm log} \hspace{0.1cm} \frac{ P_{XY}(x, y)}{P_{X}(x) \cdot P_{Y}(y)} \hspace{0.05cm}.$$
+  \hspace{-0.9cm} P_{XY}(x, y) \cdot {\rm log} \hspace{0.1cm} \frac{ P_{XY}(x, y)}{P_{X}(x) \cdot P_{Y}(y)} \hspace{0.05cm}.$$
 Diese Gleichung entspricht gleichzeitig der &nbsp;[[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Relative_Entropie_.E2.80.93_Kullback.E2.80.93Leibler.E2.80.93Distanz|"Kullback&ndash;Leibler&ndash;Distanz"]]&nbsp; (kurz "KLD") zwischen der Verbundwahrscheinlichkeitsfunktion&nbsp; $P_{XY}$&nbsp; und dem Produkt der beiden Einzelwahrscheinlichkeitsfunktionen&nbsp; $P_X$&nbsp; und&nbsp; $P_Y$:
@@ Zeile 31: / Zeile 29: @@
 *Aus der Doppelsumme in der obigen Gleichung wird nach der Umbenennung&nbsp; $Δx → {\rm d}x$&nbsp; bzw.&nbsp; $Δy → {\rm d}y$&nbsp; die für wertkontinuierliche Zufallsgrößen gültige Gleichung:
-:$$I(X;Y) = \hspace{0.2cm} \int \hspace{-0.9cm} \int\limits_{\hspace{-0.4cm}(x, y) \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} \hspace{0.03cm} (\hspace{-0.03cm}f_{XY}\hspace{-0.08cm})}
+:$$I(X;Y)  = \hspace{0.5cm} \int\limits_{\hspace{-0.9cm}y \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp}\hspace{0.05cm} (P_{Y}\hspace{-0.08cm})} \hspace{-1.1cm}\int\limits_{\hspace{1.3cm} x \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp}\hspace{0.05cm} (P_{X}\hspace{-0.08cm})}
-  \hspace{-0.6cm} f_{XY}(x, y) \cdot {\rm log} \hspace{0.1cm} \frac{ f_{XY}(x, y) }
+  \hspace{-0.9cm} f_{XY}(x, y) \cdot {\rm log} \hspace{0.1cm} \frac{ f_{XY}(x, y) }
 {f_{X}(x) \cdot f_{Y}(y)}
   \hspace{0.15cm}{\rm d}x\hspace{0.15cm}{\rm d}y \hspace{0.05cm}.$$
@@ Zeile 41: / Zeile 39: @@
 :$$I(X;Y) = h(X) + h(Y) - h(XY)\hspace{0.05cm}.$$
-Verwendet ist hierbei die ''differentielle Verbund–Entropie''
+Verwendet ist hierbei die&nbsp; &raquo;differentielle Verbund–Entropie&laquo;
-:$$h(XY) = -\hspace{0.2cm} \int \hspace{-0.9cm} \int\limits_{\hspace{-0.4cm}(x, y) \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} \hspace{0.03cm} (\hspace{-0.03cm}f_{XY}\hspace{-0.08cm})}
+:$$h(XY)   = \hspace{0.5cm} \int\limits_{\hspace{-0.9cm}y \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp}\hspace{0.05cm} (P_{Y}\hspace{-0.08cm})} \hspace{-1.1cm}\int\limits_{\hspace{1.3cm} x \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp}\hspace{0.05cm} (P_{X}\hspace{-0.08cm})}
-  \hspace{-0.6cm} f_{XY}(x, y) \cdot {\rm log} \hspace{0.1cm} \big[f_{XY}(x, y) \big]
+  \hspace{-0.9cm} f_{XY}(x, y) \cdot {\rm log} \hspace{0.1cm} \hspace{0.1cm} \big[f_{XY}(x, y) \big]
   \hspace{0.15cm}{\rm d}x\hspace{0.15cm}{\rm d}y$$
-sowie die beiden ''differentiellen Einzel–Entropien''
+sowie die beiden&nbsp; &raquo;differentiellen Einzel–Entropien&laquo;
 :$$h(X) = -\hspace{-0.7cm}  \int\limits_{x \hspace{0.05cm}\in \hspace{0.05cm}{\rm supp}\hspace{0.03cm} (\hspace{-0.03cm}f_X)} \hspace{-0.35cm}  f_X(x) \cdot {\rm log} \hspace{0.1cm} \big[f_X(x)\big] \hspace{0.1cm}{\rm d}x

@@ Zeile 9: / Zeile 9: @@
 ==Transinformation zwischen wertkontinuierlichen Zufallsgrößen ==
 <br>
-Im Kapitel &nbsp;[[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung#Informationstheoretisches_Modell_der_Digitalsignal.C3.BCbertragung|Informationstheoretisches Modell der Digitalsignalübertragung]]&nbsp; wurde die&nbsp; ''Transinformation''&nbsp; (englisch:&nbsp; ''Mutual Information'')&nbsp; zwischen den beiden wertdiskreten Zufallsgrößen&nbsp; $X$&nbsp; und&nbsp; $Y$&nbsp; unter anderem in folgender Form angegeben:
+Im Kapitel &nbsp;[[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung#Informationstheoretisches_Modell_der_Digitalsignal.C3.BCbertragung|Informationstheoretisches Modell der Digitalsignalübertragung]]&nbsp; wurde die&nbsp; '''Transinformation'''&nbsp; (englisch:&nbsp; "Mutual Information")&nbsp; zwischen den beiden wertdiskreten Zufallsgrößen&nbsp; $X$&nbsp; und&nbsp; $Y$&nbsp; unter anderem in folgender Form angegeben:
 :$$I(X;Y) = \hspace{-0.4cm} \sum_{(x,\hspace{0.05cm} y) \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp}\hspace{0.05cm} (P_{XY}\hspace{-0.08cm})}
   \hspace{-0.8cm} P_{XY}(x, y) \cdot {\rm log} \hspace{0.1cm} \frac{ P_{XY}(x, y)}{P_{X}(x) \cdot P_{Y}(y)} \hspace{0.05cm}.$$
-Diese Gleichung entspricht gleichzeitig der &nbsp;[[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Relative_Entropie_.E2.80.93_Kullback.E2.80.93Leibler.E2.80.93Distanz|Kullback&ndash;Leibler&ndash;Distanz]]&nbsp; (kurz KLD) zwischen der Verbundwahrscheinlichkeitsfunktion&nbsp; $P_{XY}$&nbsp; und dem Produkt der beiden Einzelwahrscheinlichkeitsfunktionen&nbsp; $P_X$&nbsp; und&nbsp; $P_Y$ :
+Diese Gleichung entspricht gleichzeitig der &nbsp;[[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Relative_Entropie_.E2.80.93_Kullback.E2.80.93Leibler.E2.80.93Distanz|"Kullback&ndash;Leibler&ndash;Distanz"]]&nbsp; (kurz "KLD") zwischen der Verbundwahrscheinlichkeitsfunktion&nbsp; $P_{XY}$&nbsp; und dem Produkt der beiden Einzelwahrscheinlichkeitsfunktionen&nbsp; $P_X$&nbsp; und&nbsp; $P_Y$:
 :$$I(X;Y) = D(P_{XY} \hspace{0.05cm} ||  \hspace{0.05cm}P_{X} \cdot P_{Y}) \hspace{0.05cm}.$$
-Um daraus die Transinformation&nbsp; $I(X; Y)$&nbsp; zwischen zwei wertkontinuierlichen Zufallsgrößen&nbsp; $X$&nbsp; und&nbsp; $Y$&nbsp; abzuleiten, geht man wie folgt vor, wobei Hochkommata  auf eine quantisierte Größe hinweisen:
+Um daraus die Transinformation&nbsp; $I(X; Y)$&nbsp; zwischen zwei wertkontinuierlichen Zufallsgrößen&nbsp; $X$&nbsp; und&nbsp; $Y$&nbsp; abzuleiten,&nbsp; geht man wie folgt vor,&nbsp; wobei Hochkommata  auf eine quantisierte Größe hinweisen:
 *Man quantisiert die Zufallsgrößen&nbsp; $X$&nbsp; und&nbsp; $Y$&nbsp; $($mit den Quantisierungsintervallen&nbsp; ${\it Δ}x$&nbsp; und&nbsp; ${\it Δ}y)$&nbsp; und erhält so die Wahrscheinlichkeitsfunktionen&nbsp; $P_{X\hspace{0.01cm}′}$&nbsp; und&nbsp; $P_{Y\hspace{0.01cm}′}$.
-*Die „Vektoren”&nbsp; $P_{X\hspace{0.01cm}′}$&nbsp; und&nbsp; $P_{Y\hspace{0.01cm}′}$&nbsp; werden nach den Grenzübergängen&nbsp; ${\it Δ}x → 0,&nbsp; {\it Δ}y → 0$&nbsp; unendlich lang, und auch die Verbund–PMF&nbsp; $P_{X\hspace{0.01cm}′\hspace{0.08cm}Y\hspace{0.01cm}′}$&nbsp; ist dann in der Fläche unendlich weit ausgedehnt.
+*Die „Vektoren”&nbsp; $P_{X\hspace{0.01cm}′}$&nbsp; und&nbsp; $P_{Y\hspace{0.01cm}′}$&nbsp; werden nach den Grenzübergängen&nbsp; ${\it Δ}x → 0,\hspace{0.15cm}{\it Δ}y → 0$&nbsp; unendlich lang, und auch die Verbund–PMF&nbsp; $P_{X\hspace{0.01cm}′\hspace{0.08cm}Y\hspace{0.01cm}′}$&nbsp; ist dann in der Fläche unendlich weit ausgedehnt.
 *Durch diese Grenzübergänge ergeben sich die Wahrscheinlichkeitsdichtefunktionen der kontinuierlichen Zufallsgrößen entsprechend den folgenden Gleichungen:

@@ Zeile 161: / Zeile 161: @@
 [[Datei:P_ID2891__Inf_T_4_2_S4c_neu.png|frame|Parallele AWGN–Kanäle]]
-Wir betrachten nun entsprechend der  Grafik $K$ parallele Gaußkanäle  von $X_1 → Y_1$, ... ,  $X_k → Y_k$, ... , $X_K → Y_K$.
+Wir betrachten nun entsprechend der  Grafik&nbsp; $K$&nbsp; parallele Gaußkanäle  von&nbsp; $X_1 → Y_1$,&nbsp; ... ,&nbsp;  $X_k → Y_k$,&nbsp; ... , $X_K → Y_K$.
-*Die Sendeleistungen in den $K$ Kanälen nennen wir
+*Die Sendeleistungen in den&nbsp; $K$&nbsp; Kanälen nennen wir
-:$$P_1 = \text{E}[X_1^2], \hspace{0.05cm}\text{...}\hspace{0.05cm} , P_k = \text{E}[X_k^2], \hspace{0.05cm}\text{...}\hspace{0.05cm}  , P_K = \text{E}[X_K^2].$$
+:$$P_1 = \text{E}[X_1^2], \hspace{0.15cm}\text{...}\hspace{0.15cm} ,\ P_k = \text{E}[X_k^2], \hspace{0.15cm}\text{...}\hspace{0.15cm}  ,\ P_K = \text{E}[X_K^2].$$
-*Die $K$ Störleistungen können ebenfalls unterschiedlich sein:
+*Die&nbsp; $K$&nbsp; Störleistungen können ebenfalls unterschiedlich sein:
-:$$σ_1^2, \hspace{0.05cm}\text{...}\hspace{0.05cm} , σ_k^2, \hspace{0.05cm}\text{...}\hspace{0.05cm} , σ_K^2.$$
+:$$σ_1^2, \hspace{0.15cm}\text{...}\hspace{0.15cm} ,\ σ_k^2, \hspace{0.15cm}\text{...}\hspace{0.15cm} ,\ σ_K^2.$$
-Gesucht ist nun die maximale Transinformation &nbsp;$I(X_1, \hspace{0.05cm}\text{...}\hspace{0.05cm}, X_K\hspace{0.05cm};\hspace{0.05cm}Y_1, \hspace{0.05cm}\text{...}\hspace{0.05cm}, Y_K) $&nbsp; zwischen
+Gesucht ist nun die maximale Transinformation &nbsp;$I(X_1, \hspace{0.15cm}\text{...}\hspace{0.15cm}, X_K\hspace{0.05cm};\hspace{0.05cm}Y_1, \hspace{0.15cm}\text{...}\hspace{0.15cm}, Y_K) $&nbsp; zwischen
-*den $K$ Eingangsgrößen $X_1$, ... , $X_K$, sowie
+*den&nbsp; $K$&nbsp; Eingangsgrößen&nbsp; $X_1$,&nbsp; ... , $X_K$&nbsp; sowie
-*den $K$ Ausgangsgrößen $Y_1$, ... , $Y_K$,
+*den&nbsp; $K$ Ausgangsgrößen&nbsp; $Y_1$&nbsp;, ... , $Y_K$,
-die wir als die ''Gesamt–Kanalkapazität'' dieser AWGN–Konfiguration bezeichnen.
+die wir als die&nbsp; ''Gesamt–Kanalkapazität''&nbsp; dieser AWGN–Konfiguration bezeichnen.
-Ausgegangen wird von Leistungsbegrenzung des Gesamtsystems. Das heißt: &nbsp; <br>Die Summe aller Leistungen $P_k$ in den $K$ Einzelkanälen darf den vorgegebenen Wert $P_X$ nicht überschreiten:
+{{BlaueBox|TEXT=
 :$$P_1 + \hspace{0.05cm}\text{...}\hspace{0.05cm}+ P_K = \hspace{0.1cm} \sum_{k= 1}^K
-  \hspace{0.1cm}{\rm E} \left [ X_k^2\right ] \le P_{X} \hspace{0.05cm}.$$
+  \hspace{0.1cm}{\rm E} \left [ X_k^2\right ] \le P_{X} \hspace{0.05cm}.$$}}
 Unter der nur wenig einschränkenden Annahme unabhängiger Störquellen $N_1$, ... , $N_K$ kann für die Transinformation nach einigen Zwischenschritten geschrieben werden:
 :$$I(X_1, \hspace{0.05cm}\text{...}\hspace{0.05cm}, X_K\hspace{0.05cm};\hspace{0.05cm}Y_1,\hspace{0.05cm}\text{...}\hspace{0.05cm}, Y_K) = h(Y_1, ... \hspace{0.05cm}, Y_K ) - \hspace{0.1cm} \sum_{k= 1}^K
   \hspace{0.1cm} h(N_k)\hspace{0.05cm}.$$
-Dafür kann folgende obere Schranke angegeben werden:
+Dafür istn folgende obere Schranke angebbar:
 :$$I(X_1,\hspace{0.05cm}\text{...}\hspace{0.05cm}, X_K\hspace{0.05cm};\hspace{0.05cm}Y_1, \hspace{0.05cm}\text{...} \hspace{0.05cm}, Y_K)
@@ Zeile 192: / Zeile 195: @@
 \hspace{0.05cm}.$$
-*Das Gleichheitszeichen (Identität) gilt bei mittelwertfreien Gaußschen Eingangsgrößen $X_k$ sowie bei statistisch voneinander unabhängigen Störungen $N_k$.
+*Das Gleichheitszeichen (Identität) gilt bei mittelwertfreien Gaußschen Eingangsgrößen&nbsp; $X_k$&nbsp; sowie bei statistisch voneinander unabhängigen Störungen&nbsp; $N_k$.
-*Man kommt von dieser Gleichung zur ''maximalen Transinformation'' &nbsp;  ⇒ &nbsp;  ''Kanalkapazität'', wenn man die gesamte Sendeleistung $P_X$ unter Berücksichtigung der unterschiedlichen Störungen in den einzelnen Kanälen &nbsp;$(σ_k^2)$&nbsp; bestmöglich aufteilt.
+*Man kommt von dieser Gleichung zur&nbsp; ''maximalen Transinformation'' &nbsp;  ⇒ &nbsp;  ''Kanalkapazität'', wenn man die gesamte Sendeleistung&nbsp; $P_X$&nbsp; unter Berücksichtigung der unterschiedlichen Störungen in den einzelnen Kanälen &nbsp;$(σ_k^2)$&nbsp; bestmöglich aufteilt.
-*Dieses Optimierungsproblem lässt sich wieder mit dem Verfahren der [https://de.wikipedia.org/wiki/Lagrange-Multiplikator Lagrange–Multiplikatoren] elegant lösen. Das folgende Beispiel erläutert nur das Ergebnis.
+*Dieses Optimierungsproblem lässt sich wieder mit dem Verfahren der&nbsp; [https://de.wikipedia.org/wiki/Lagrange-Multiplikator Lagrange–Multiplikatoren]&nbsp; elegant lösen.&nbsp; Das folgende Beispiel erläutert nur das Ergebnis.
-[[Datei:P_ID2894__Inf_T_4_2_S4d.png|right|frame|Bestmögliche Leistungsaufteilung auf $K = 4$ Kanäle („Water–Filling”)]]
+[[Datei:P_ID2894__Inf_T_4_2_S4d.png|right|frame|Bestmögliche Leistungsaufteilung für&nbsp; $K = 4$&nbsp; („Water–Filling”)]]
 {{GraueBox|TEXT=
-$\text{Beispiel 1:}$&nbsp; Wir betrachten $K = 4$ parallele Gaußkanäle mit vier unterschiedlichen Störleistungen $σ_1^2$, ... , $σ_4^2$ gemäß der nebenstehenden Abbildung (schwach&ndash;grüne Hinterlegung).
+$\text{Beispiel 1:}$&nbsp; Wir betrachten&nbsp; $K = 4$&nbsp; parallele Gaußkanäle mit vier unterschiedlichen Störleistungen&nbsp; $σ_1^2$,&nbsp; ... ,&nbsp; $σ_4^2$&nbsp; gemäß der nebenstehenden Abbildung (schwach&ndash;grüne Hinterlegung).
 *Gesucht ist die bestmögliche Aufteilung der Sendeleistung auf die vier Kanäle.
-*Würde man dieses Profil langsam mit Wasser auffüllen, so würde das Wasser zunächst nur in den $\text{Kanal 2}$ fließen.
+*Würde man dieses Profil langsam mit Wasser auffüllen, so würde das Wasser zunächst nur in den&nbsp; $\text{Kanal 2}$&nbsp; fließen.
-*Gießt man weiter, so sammelt sich auch im $\text{Kanal 1}$ etwas Wasser an und später auch im $\text{Kanal 4}$.
+*Gießt man weiter, so sammelt sich auch im&nbsp; $\text{Kanal 1}$&nbsp; etwas Wasser an und später auch im&nbsp; $\text{Kanal 4}$.
-Die eingezeichnete „Wasserhöhe” $H$ beschreibt genau den Zeitpunkt, zu dem die Summe &nbsp;$P_1 + P_2 + P_4$&nbsp; der insgesamt zur Verfügung stehenden Sendeleistung $P_X$ entspricht:
+Die eingezeichnete „Wasserhöhe”&nbsp; $H$&nbsp; beschreibt genau den Zeitpunkt, zu dem die Summe &nbsp;$P_1 + P_2 + P_4$&nbsp; der insgesamt zur Verfügung stehenden Sendeleistung&nbsp; $P_X$&nbsp; entspricht:
 *Die optimale Leistungsaufteilung für dieses Beispiel ergibt &nbsp;$P_2 > P_1 > P_4$&nbsp; sowie &nbsp;$P_3 = 0$.
-*Erst bei größerer Sendeleistung $P_X$ würde auch dem dritten Kanal eine kleine Leistung $P_3$ zugewiesen.
+*Erst bei größerer Sendeleistung&nbsp; $P_X$&nbsp; würde auch dem dritten Kanal eine kleine Leistung&nbsp; $P_3$&nbsp; zugewiesen.
@@ Zeile 215: / Zeile 218: @@
 {{GraueBox|TEXT=
 $\text{Beispiel 2:}$&nbsp;
-Werden alle $K$ Gaußkanäle in gleicher Weise gestört &nbsp; ⇒ &nbsp; $σ_1^2 = \hspace{0.05cm}\text{...}\hspace{0.05cm} = σ_K^2 = P_N$, so sollte man natürlich die gesamte zur Verfügung stehende Sendeleistung $P_X$ gleichmäßig auf alle Kanäle verteilen: &nbsp; $P_k = P_X/K$. Für die Gesamtkapazität erhält man dann:
+Werden alle&nbsp; $K$&nbsp; Gaußkanäle in gleicher Weise gestört &nbsp; ⇒ &nbsp; $σ_1^2 = \hspace{0.15cm}\text{...}\hspace{0.15cm} = σ_K^2 = P_N$, so sollte man natürlich die gesamte zur Verfügung stehende Sendeleistung&nbsp; $P_X$&nbsp; gleichmäßig auf alle Kanäle verteilen: &nbsp; $P_k = P_X/K$.&nbsp; Für die Gesamtkapazität erhält man dann:
-[[Datei:P_ID2939__Inf_T_4_2_S5_neu.png|right|frame|Kapazität für $K$  parallele Kanäle]]
+[[Datei:P_ID2939__Inf_T_4_2_S5_neu.png|right|frame|Kapazität für&nbsp; $K$&nbsp;  parallele Kanäle]]
 :$$C_{\rm Gesamt}
 = \frac{ K}{2} \cdot  {\rm log}_2 \hspace{0.1cm} ( 1 + \frac{P_X}{K \cdot P_N})
 \hspace{0.05cm}.$$
-Die Grafik zeigt die Gesamtkapazität als Funktion von $P_X/P_N$ für $K = 1$, $K = 2$ und $K = 3$:
+Die Grafik zeigt die Gesamtkapazität als Funktion von&nbsp; $P_X/P_N$&nbsp; für&nbsp; $K = 1$,&nbsp; $K = 2$&nbsp; und&nbsp; $K = 3$:
-*Bei &nbsp;$P_X/P_N = 10  \ ⇒ \  10 · \text{lg} (P_X/P_N) = 10 \ \text{dB}$&nbsp; wird die Gesamtkapazität um ca. $50\%$ größer, wenn man die Gesamtleistung $P_X$ auf zwei Kanäle gleichmäßig aufteilt: &nbsp; $P_1 = P_2 = P_X/2$.
+*Bei &nbsp;$P_X/P_N = 10  \ ⇒ \  10 · \text{lg} (P_X/P_N) = 10 \ \text{dB}$&nbsp; wird die Gesamtkapazität um ca.&nbsp; $50\%$&nbsp; größer, wenn man die Gesamtleistung&nbsp; $P_X$&nbsp; auf zwei Kanäle gleichmäßig aufteilt: &nbsp; $P_1 = P_2 = P_X/2$.
-*Im Grenzfall &nbsp;$P_X/P_N → ∞$&nbsp; nimmt die Gesamtkapazität um den Faktor $K$ zu  &nbsp; ⇒  &nbsp; Verdoppelung bei $K = 2$.
+*Im Grenzfall &nbsp;$P_X/P_N → ∞$&nbsp; nimmt die Gesamtkapazität um den Faktor&nbsp; $K$&nbsp; zu  &nbsp; ⇒  &nbsp; Verdoppelung bei $K = 2$.
 Die beiden identischen und voneinander unabhängigen Kanäle kann man auf unterschiedliche Weise realisieren, zum Beispiel durch Multiplexverfahren in Zeit, Frequenz oder Raum.
-Der Fall $K = 2$ lässt sich aber auch durch die Verwendung orthogonaler Basisfunktionen wie „Cosinus” und „Sinus” verwirklichen wie zum Beispiel bei
+Der Fall&nbsp; $K = 2$&nbsp; lässt sich aber auch durch die Verwendung orthogonaler Basisfunktionen wie „Cosinus” und „Sinus” verwirklichen wie zum Beispiel bei
-*der [[Modulationsverfahren/Quadratur–Amplitudenmodulation|Quadratur–Amplitudenmodulation]] (QAM) oder
+*der&nbsp; [[Modulationsverfahren/Quadratur–Amplitudenmodulation|Quadratur–Amplitudenmodulation]]&nbsp; (QAM) oder
-*einer [[Modulationsverfahren/Quadratur–Amplitudenmodulation#Weitere_Signalraumkonstellationen|mehrstufigen Phasenmodulation]] wie QPSK oder 8–PSK.}}
+*einer&nbsp; [[Modulationsverfahren/Quadratur–Amplitudenmodulation#Weitere_Signalraumkonstellationen|mehrstufigen Phasenmodulation]]&nbsp; wie QPSK oder 8–PSK.}}
 ==Aufgaben zum Kapitel ==

@@ Zeile 128: / Zeile 128: @@
 ==Kanalkapazität des AWGN–Kanals==
 <br>
-Spezifiziert man im bisherigen   [[Informationstheorie/AWGN–Kanalkapazität_bei_wertkontinuierlichem_Eingang#Transinformationsberechnung_bei_additiver_St.C3.B6rung|allgemeinen Systemmodell]] die Wahrscheinlichkeitsdichtefunktion der Störung (bzw. des Rauschens) als gaußisch entsprechend
+Spezifiziert man im bisherigen&nbsp;   [[Informationstheorie/AWGN–Kanalkapazität_bei_wertkontinuierlichem_Eingang#Transinformationsberechnung_bei_additiver_St.C3.B6rung|allgemeinen Systemmodell]]&nbsp; die Wahrscheinlichkeitsdichtefunktion der Störung (bzw. des Rauschens) als gaußisch entsprechend
 [[Datei:P_ID2884__Inf_T_4_2_S4_neu.png|right|frame|Zur Herleitung der AWGN–Kanalkapazität]]
 :$$f_N(n) = \frac{1}{\sqrt{2\pi  \sigma_N^2}} \cdot {\rm e}^{
 - \hspace{0.05cm}{n^2}/(2 \sigma_N^2) } \hspace{0.05cm}, $$
-so erhalten wir das rechtsskizzierte Modell zur Berechnung der Kanalkapazität des so genannten [[Modulationsverfahren/Qualitätskriterien#Einige_Anmerkungen_zum_AWGN.E2.80.93Kanalmodell|AWGN–Kanals]] (''Additive White Gaussian Noise''). Meist ersetzen wir im Folgenden $\sigma_N^2$ durch $P_N$.
+so erhalten wir das rechts skizzierte Modell zur Berechnung der Kanalkapazität des so genannten&nbsp; [[Modulationsverfahren/Qualitätskriterien#Einige_Anmerkungen_zum_AWGN.E2.80.93Kanalmodell|AWGN–Kanals]]&nbsp; (''Additive White Gaussian Noise'').&nbsp; Meist ersetzen wir im Folgenden&nbsp; $\sigma_N^2$&nbsp; durch&nbsp; $P_N$.
+<br clear=all>
 Aus vorherigen Abschnitten wissen wir:
-*Die [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung#Definition_und_Bedeutung_der_Kanalkapazit.C3.A4t|Kanalkapazität]] $C_{\rm AWGN}$ gibt die maximale Transinformation $I(X; Y)$ zwischen Eingangsgröße $X$ und Ausgangsgröße $Y$ des AWGN–Kanals an.
+*Die&nbsp; [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung#Definition_und_Bedeutung_der_Kanalkapazit.C3.A4t|Kanalkapazität]]&nbsp; $C_{\rm AWGN}$&nbsp; gibt die maximale Transinformation&nbsp; $I(X; Y)$&nbsp; zwischen der Eingangsgröße&nbsp;  $X$&nbsp;  und der Ausgangsgröße&nbsp;  $Y$&nbsp;  des AWGN–Kanals an.&nbsp;  Die Maximierung bezieht sich dabei auf die bestmögliche Eingangs–WDF.&nbsp;  Somit gilt unter der Nebenbedingung der&nbsp;  [[Informationstheorie/Differentielle_Entropie#Differentielle_Entropie_einiger_leistungsbegrenzter_Zufallsgr.C3.B6.C3.9Fen|Leistungsbegrenzung]]:
 :$$C_{\rm AWGN} = \max_{f_X:\hspace{0.1cm} {\rm E}[X^2 ] \le P_X} \hspace{-0.35cm}  I(X;Y)
@@ Zeile 143: / Zeile 142: @@
 \hspace{0.05cm}.$$
-Hier ist bereits berücksichtigt, dass sich die Maximierung allein auf die differentielle Entropie &nbsp;$h(Y)$ &nbsp; ⇒ &nbsp; WDF &nbsp;$f_Y(y)$&nbsp; bezieht. Bei gegebener Störleistung $P_N$ ist nämlich &nbsp;$h(N) = 1/2 · \log_2 (2π{\rm e} · P_N)$&nbsp; eine Konstante.
+:Es ist bereits berücksichtigt, dass sich die Maximierung allein auf die differentielle Entropie &nbsp;$h(Y)$ &nbsp; ⇒ &nbsp; WDF &nbsp;$f_Y(y)$&nbsp; bezieht.&nbsp;  Bei gegebener Störleistung&nbsp;  $P_N$&nbsp;  ist nämlich &nbsp;$h(N) = 1/2 · \log_2 (2π{\rm e} · P_N)$&nbsp; eine Konstante.
-*Das Maximum für &nbsp;$h(Y)$&nbsp; erhält man für eine Gaußsche WDF &nbsp;$f_Y(y)$, wobei &nbsp;$P_Y = P_X + P_N$&nbsp; zu setzen ist, siehe Seite&nbsp; [[Informationstheorie/Differentielle_Entropie#Beweis:_Maximale_differentielle_Entropie_bei_Leistungsbegrenzung|Maximale differentielle Entropie bei Leistungsbegrenzung]]:
+*Das Maximum für &nbsp;$h(Y)$&nbsp; erhält man für eine Gaußsche WDF &nbsp;$f_Y(y)$&nbsp; mit &nbsp;$P_Y = P_X + P_N$&nbsp;t, siehe Seite&nbsp; [[Informationstheorie/Differentielle_Entropie#Beweis:_Maximale_differentielle_Entropie_bei_Leistungsbegrenzung|Maximale differentielle Entropie bei Leistungsbegrenzung]]:
 :$${\rm max}\big[h(Y)\big] = 1/2 · \log_2 \big[2πe · (P_X + P_N)\big].$$
-*Die Ausgangs–WDF &nbsp;$f_Y(y) = f_X(x) ∗ f_N(n)$&nbsp; ist aber nur dann gaußförmig, wenn sowohl $f_X(x)$ als auch $f_N(n)$ Gaußfunktionen sind. Ein plakativer Merkspruch zur Faltungsoperation lautet nämlich:&nbsp; ''Gauß bleibt Gauß, und Nicht–Gauß wird nie (exakt) Gauß''.
+*Die Ausgangs–WDF &nbsp;$f_Y(y) = f_X(x) ∗ f_N(n)$&nbsp; ist aber nur dann gaußförmig, wenn sowohl&nbsp;  $f_X(x)$&nbsp;  als auch&nbsp;  $f_N(n)$&nbsp;  Gaußfunktionen sind.&nbsp; Ein plakativer Merkspruch zur Faltungsoperation lautet nämlich:&nbsp; '''Gauß bleibt Gauß, und Nicht–Gauß wird nie (exakt) Gauß'''.
 {{BlaueBox|TEXT=
-$\text{Fazit:}$&nbsp; Beim AWGN–Kanal &nbsp; ⇒ &nbsp; Gaußsche Rausch-WDF &nbsp;$f_N(n)$&nbsp; ergibt sich die ''Kanalkapazität'' genau dann, wenn die Eingangs–WDF &nbsp;$f_X(x)$&nbsp; ''ebenfalls gaußförmig'' ist:
+$\text{Fazit:}$&nbsp; Beim AWGN–Kanal &nbsp; ⇒ &nbsp; Gaußsche Rausch-WDF &nbsp;$f_N(n)$&nbsp; ergibt sich die&nbsp; ''Kanalkapazität''&nbsp; genau dann, wenn die Eingangs–WDF &nbsp;$f_X(x)$&nbsp; ''ebenfalls gaußförmig'' ist:
-−
 :$$C_{\rm AWGN} = h_{\rm max}(Y) - h(N) = 1/2 \cdot  {\rm log}_2 \hspace{0.1cm} {P_Y}/{P_N}
-=  1/2 \cdot  {\rm log}_2 \hspace{0.1cm} ( 1 + {P_X}/{P_N})
+$$
-\hspace{0.05cm}.$$
+:$$\Rightarrow \hspace{0.3cm} C_{\rm AWGN}
-[[Datei:P_ID2885__Inf_T_4_2_S4b_neu.png|center|frame|Numerische Ergebnisse für die AWGN–Kanalkapazität als Funktion von ${P_X}/{P_N}$]]}}
+=  1/2 \cdot  {\rm log}_2 \hspace{0.1cm} ( 1 + {P_X}/{P_N}) \hspace{0.05cm}.$$}}