Aufgabe 4.6: AWGN–Kanalkapazität

Aus LNTwww
Wechseln zu:Navigation, Suche

Flussdiagramm der Information

Wir gehen vom[  AWGN-Kanalmodell  aus:

  • $X$  kennzeichnet den Eingang (Sender).
  • $N$  steht für eine gaußverteilte Störung.
  • $Y = X +N$  beschreibt den Ausgang (Empfänger) bei additiver Störung.


Für die Wahrscheinlichkeitsdichtefunktion der Störung gelte:

$$f_N(n) = \frac{1}{\sqrt{2\pi \hspace{0.03cm}\sigma_{\hspace{-0.05cm}N}^2}} \cdot {\rm e}^{ - \hspace{0.05cm}{n^2}\hspace{-0.05cm}/{(2 \hspace{0.03cm} \sigma_{\hspace{-0.05cm}N}^2) }} \hspace{0.05cm}.$$

Da die Zufallsgröße  $N$  mittelwertfrei ist   ⇒   $m_{N} = 0$,  kann man die Varianz  $\sigma_{\hspace{-0.05cm}N}^2$  mit der Leistung  $P_N$  gleichsetzen.  In diesem Fall ist die differentielle Entropie der Zufallsgröße  $N$  wie folgt angebbar (mit der Pseudo–Einheit „bit”):

$$h(N) = {1}/{2} \cdot {\rm log}_2\hspace{0.05cm}\left ( 2\pi {\rm e} \cdot P_N \right )\hspace{0.05cm}.$$

In dieser Aufgabe wird  $P_N = 1\hspace{0.1cm} \rm mW$  vorgegeben.  Dabei ist zu beachten:

  • Die Leistung  $P_N$  in obiger Gleichung muss wie die Varianz  $\sigma_{\hspace{-0.05cm}N}^2$  dimensionslos sein.
  • Um mit dieser Gleichung arbeiten zu können, muss die physikalische Größe  $P_N$  geeignet normiert werden, zum Beispiel entsprechend  $P_N = 1\hspace{0.1cm} \rm mW$    ⇒    $P_N\hspace{0.01cm}' = 1$.
  • Bei anderer Normierung, beispielsweise  $P_N = 1\hspace{0.1cm} \rm mW$     ⇒     $P_N\hspace{0.01cm}' = 0.001$  ergäbe sich für  $h(N)$  ein völlig anderer Zahlenwert.


Weiter können Sie für die Lösung dieser Aufgabe berücksichtigen:

  • Die Kanalkapazität ist definiert als die maximale Transinformation zwischen Eingang  $X$  und Ausgang  $Y$  bei bestmöglicher Eingangsverteilung:
$$C = \max_{\hspace{-0.15cm}f_X:\hspace{0.05cm} {\rm E}[X^2] \le P_X} \hspace{-0.2cm} I(X;Y) \hspace{0.05cm}.$$
  • Die Kanalkapazität des AWGN–Kanals lautet:
$$C_{\rm AWGN} = {1}/{2} \cdot {\rm log}_2\hspace{0.05cm}\left ( 1 + \frac{P_X}{P_N} \right ) = {1}/{2} \cdot {\rm log}_2\hspace{0.05cm}\left ( 1 + \frac{P_{\hspace{-0.05cm}X}\hspace{0.01cm}'}{P_{\hspace{-0.05cm}N}\hspace{0.01cm}'} \right )\hspace{0.05cm}.$$
Man erkennt:  Die Kanalkapazität  $C$  und auch die Transinformation  $I(X; Y)$  sind im Gegensatz zu den differentiellen Entropien unabhängig von obiger Normierung.
  • Bei gaußförmiger Stör–WDF  $f_N(n)$  führt eine ebenfalls gaußförmige Eingangs–WDF $f_X(x)$  zur maximalen Transinformation und damit zur Kanalkapazität.




Hinweise:


Fragebogen

1

Welche Sendeleistung ist für  $C = 2 \ \rm bit$  erforderlich?

$P_X \ = \ $

$\ \rm mW$

2

Unter welchen Voraussetzungen ist  $I(X; Y) = 2 \ \rm bit$  überhaupt erreichbar?

$P_X$  ist wie unter  (1)  ermittelt oder größer.
Die Zufallsgröße  $X$  ist gaußverteilt.
Die Zufallsgröße  $X$  ist mittelwertfrei.
Die Zufallsgrößen  $X$  und  $N$  sind unkorreliert.
Die Zufallsgrößen  $X$  und  $Y$  sind unkorreliert.

3

Berechnen Sie die differentiellen Entropien der Zufallsgrößen  $N$,  $X$  und  $Y$  bei geeigneter Normierung,
zum Beispiel  $P_N = 1 \hspace{0.1cm} \rm mW$    ⇒    $P_N\hspace{0.01cm}' = 1$.

$h(N) \ = \ $

$\ \rm bit$
$h(X) \ = \ $

$\ \rm bit$
$h(Y) \ = \ $

$\ \rm bit$

4

Wie lauten die weiteren informationstheoretischen Beschreibungsgrößen?

$h(Y|X) \ = \ $

$\ \rm bit$
$h(X|Y) \ = \ $

$\ \rm bit$
$h(XY) \ = \ $

$\ \rm bit$

5

Welche Größen ergäben sich bei gleichem  $P_X$  im Grenzfall  $P_N\hspace{0.01cm} ' \to 0$ ?

$h(X) \ = \ $

$\ \rm bit$
$h(Y|X) \ = \ $

$\ \rm bit$
$h(Y) \ = \ $

$\ \rm bit$
$I(X;Y) \ = \ $

$\ \rm bit$
$h(X|Y) \ = \ $

$\ \rm bit$


Musterlösung

(1)  Die Gleichung für die AWGN–Kanalkapazität in „bit” lautet:

$$C_{\rm bit} = {1}/{2} \cdot {\rm log}_2\hspace{0.05cm}\left ( 1 + {P_X}/{P_N} \right )\hspace{0.05cm}.$$
  • Mit  $C_{\rm bit} = 2$  ergibt sich daraus:
$$4 \stackrel{!}{=} {\rm log}_2\hspace{0.05cm}\left ( 1 + {P_X}/{P_N} \right ) \hspace{0.3cm}\Rightarrow \hspace{0.3cm} 1 + {P_X}/{P_N} \stackrel {!}{=} 2^4 = 16 \hspace{0.3cm}\Rightarrow \hspace{0.3cm} P_X = 15 \cdot P_N \hspace{0.15cm}\underline{= 15\,{\rm mW}} \hspace{0.05cm}. $$


(2)  Richtig sind die Lösungsvorschläge 1 bis 4.  Begründung:

  • Für  $P_X < 15 \ \rm mW$  wird die Transinformation  $I(X; Y)$  stets kleiner als  $2$  bit sein, unabhängig von allen anderen Gegebenheiten.
  • Mit  $P_X = 15 \ \rm mW$  ist die maximale Transinformation  $I(X; Y) = 2$  bit nur erreichbar, wenn die Eingangsgröße  $X$  gaußverteilt ist. 
    Die Ausgangsgröße  $Y$  ist dann ebenfalls gaußverteilt.
  • Weist die Zufallsgröße  $X$  einen Gleichanteil  $m_X$  auf, so ist die Varianz  $\sigma_X^2 = P_X - m_X^2 $  bei gegebenem  $P_X$  kleiner, und es gilt  $I(X; Y) = 1/2 · \log_2 \ (1 + \sigma_X^2/P_N) < 2$  bit.
  • Voraussetzung für die gegebene Kanalkapazitätsgleichung ist, dass  $X$  und  $N$  unkorreliert sind. 
  • Wären dagegen die Zufallsgrößen  $X$  und  $N$  unkorreliert, so ergäbe sich  $I(X; Y) = 0$.



Informationstheoretische Größen für den AWGN-Kanal

(3)  Die angegebene Gleichung für die differentielle Entropie macht nur bei dimensionsloser Leistung Sinn.  Mit der vorgeschlagenen Normierung erhält man:

  • Für  $P_N = 1 \ \rm mW$   ⇒   $P_N\hspace{0.05cm}' = 1$:
$$h(N) \ = \ {1}/{2} \cdot {\rm log}_2\hspace{0.05cm}\left ( 2\pi {\rm e} \cdot 1 \right ) = \ {1}/{2} \cdot {\rm log}_2\hspace{0.05cm}\left ( 17.08 \right ) \hspace{0.15cm}\underline{= 2.047\,{\rm bit}}\hspace{0.05cm}.$$
  • Für  $P_X = 15 \ \rm mW$   ⇒   $P_X\hspace{0.01cm}' = 15$:
$$h(X) \ = \ {1}/{2} \cdot {\rm log}_2\hspace{0.05cm}\left ( 2\pi {\rm e} \cdot 15 \right ) = {1}/{2} \cdot {\rm log}_2\hspace{0.05cm}\left ( 2\pi {\rm e} \right ) + {1}/{2} \cdot {\rm log}_2\hspace{0.05cm}\left (15 \right ) \hspace{0.15cm}\underline{= 4.000\,{\rm bit}}\hspace{0.05cm}. $$
  • Für  $P_Y = P_X + P_N = 16 \ \rm mW$   ⇒  $P_Y\hspace{0.01cm}' = 16$:
$$h(Y) = 2.047\,{\rm bit} + 2.000\,{\rm bit} \hspace{0.15cm}\underline{= 4.047\,{\rm bit}}\hspace{0.05cm}.$$


(4)  Für die differentielle Irrelevanz gilt beim AWGN–Kanal:

$$h(Y \hspace{-0.05cm}\mid \hspace{-0.05cm} X) = h(N) \hspace{0.15cm}\underline{= 2.047\,{\rm bit}}\hspace{0.05cm}.$$
  • Entsprechend nebenstehender Grafik gilt aber auch:
$$h(Y \hspace{-0.05cm}\mid \hspace{-0.05cm} X) = h(Y) - I(X;Y) = 4.047 \,{\rm bit} - 2 \,{\rm bit} \hspace{0.15cm}\underline{= 2.047\,{\rm bit}}\hspace{0.05cm}. $$
  • Daraus kann die differentielle Äquivokation wie folgt berechnet werden:
$$h(X \hspace{-0.05cm}\mid \hspace{-0.05cm} Y) = h(X) - I(X;Y) = 4.000 \,{\rm bit} - 2 \,{\rm bit} \hspace{0.15cm}\underline{= 2.000\,{\rm bit}}\hspace{0.05cm}.$$
  • Abschließend wird auch noch die differentielle Verbundentropie angegeben, die aus obigem Schaubild nicht direkt ablesbar ist:
Informationstheoretische Größen beim idealen Kanal
$$h(XY) = h(X) + h(Y) - I(X;Y) = 4.000 \,{\rm bit} + 4.047 \,{\rm bit} - 2 \,{\rm bit} \hspace{0.15cm}\underline{= 6.047\,{\rm bit}}\hspace{0.05cm}.$$


(5)  Beim idealen Kanal erhält man mit  $h(X)\hspace{0.15cm}\underline{= 4.000 \,{\rm bit}}$:

$$h(Y \hspace{-0.05cm}\mid \hspace{-0.05cm} X) \ = \ h(N) \hspace{0.15cm}\underline{= 0\,{\rm (bit)}}\hspace{0.05cm},$$
$$h(Y) \ = \ h(X) \hspace{0.15cm}\underline{= 4\,{\rm bit}}\hspace{0.05cm},$$
$$I(X;Y) \ = \ h(Y) - h(Y \hspace{-0.05cm}\mid \hspace{-0.05cm} X)\hspace{0.15cm}\underline{= 4\,{\rm bit}}\hspace{0.05cm},$$ $$ h(X \hspace{-0.05cm}\mid \hspace{-0.05cm} Y) \ = \ h(X) - I(X;Y)\hspace{0.15cm}\underline{= 0\,{\rm (bit)}}\hspace{0.05cm}.$$
  • Die Grafik zeigt diese Größen in einem Flussdiagramm.
  • Das gleiche Diagramm ergäbe sich auch im wertdiskreten Fall mit  $M = 16$  gleichwahrscheinlichen Symbolen   ⇒   $H(X)= 4.000 \,{\rm bit}$.
  • Man müsste nur jedes  $h$  durch ein  $H$  ersetzen.