Aufgaben:Aufgabe 4.3: WDF–Vergleich bezüglich differentieller Entropie

• Zurück zum Buch

$h(X)$ für vier Dichtefunktionen

Nebenstehende Tabelle zeigt das Vergleichsergebnis hinsichtlich der differentiellen Entropie $h(X)$ für

• die Gleichverteilung   ⇒   $f_X(x) = f_1(x)$:

$$f_1(x) = \left\{ \begin{array}{c} 1/(2A) \\ 0 \\ \end{array} \right. \begin{array}{*{20}c} {\rm{f\ddot{u}r}} \hspace{0.1cm} |x| \le A \\ {\rm sonst} \\ \end{array} ,$$

• die Dreieckverteilung   ⇒   $f_X(x) = f_2(x)$:

$$f_2(x) = \left\{ \begin{array}{c} 1/A \cdot \big [1 - |x|/A \big ] \\ 0 \\ \end{array} \right. \begin{array}{*{20}c} {\rm{f\ddot{u}r}} \hspace{0.1cm} |x| \le A \\ {\rm sonst} \\ \end{array} ,$$

• die Laplaceverteilung   ⇒   $f_X(x) = f_3(x)$:

$$f_3(x) = \lambda/2 \cdot {\rm e}^{-\lambda \hspace{0.05cm} \cdot \hspace{0.05cm}|x|}\hspace{0.05cm}.$$

Die Werte für die Gaußverteilung   ⇒   $f_X(x) = f_4(x)$ mit

$$f_4(x) = \frac{1}{\sqrt{2\pi \sigma^2}} \cdot {\rm e}^{ - \hspace{0.05cm}{x ^2}/{(2 \sigma^2})}$$

sind hier noch nicht eingetragen. Diese sollen in den Teilaufgaben (1) bis (3) ermittelt werden.

Alle hier betrachteten Wahrscheinlichkeitsdichtefunktionen sind

• symmetrisch um $x = 0$   ⇒   $f_X(-x) = f_X(x)$
• und damit mittelwertfrei   ⇒  $m_1 = 0$.

In allen hier betrachteten Fällen kann die differentielle Entropie wie folgt dargestellt werden:

• Unter der Nebenbedingung $|X| ≤ A$   ⇒    Spitzenwertbegrenzung:

$$h(X) = {\rm log} \hspace{0.1cm} ({\it \Gamma}_{\hspace{-0.05cm}\rm A} \cdot A) \hspace{0.05cm},$$

• Unter der Nebenbedingung ${\rm E}[|X – m_1|^2] ≤ σ^2$  ⇒  Leistungsbegrenzung:

$$h(X) = {1}/{2} \cdot {\rm log} \hspace{0.1cm} ({\it \Gamma}_{\hspace{-0.05cm}\rm L} \cdot \sigma^2) \hspace{0.05cm}.$$

Je größer die jeweilige Kenngröße ${\it \Gamma}_{\hspace{-0.05cm}\rm A}$ bzw. ${\it \Gamma}_{\hspace{-0.05cm}\rm L}$ ist, desto günstiger ist bei der vereinbarten Nebenbedingung die vorliegende WDF hinsichtlich der differentiellen Entropie.

Hinweise:

• Die Aufgabe gehört zum Kapitel  Differentielle Entropie.
• Nützliche Hinweise zur Lösung dieser Aufgabe finden Sie insbesondere auf den Seiten

Differentielle Entropie einiger spitzenwertbegrenzter Zufallsgrößen sowie

Differentielle Entropie einiger leistungsbegrenzter Zufallsgrößen.

Fragebogen

1

Welche Gleichung gilt für den Logarithmus der Gauß–WDF?

	Es gilt:   $\ln \big[f_X(x) \big] = \ln (A) - x^2/(2 \sigma^2)$   mit   $A = f_X(x=0)$.
	Es gilt:   $\ln \big [f_X(x) \big] = A - \ln (x^2/(2 \sigma^2)$   mit   $A = f_X(x=0)$.

2

Welche Gleichung gilt für die differentielle Entropie der Gauß–WDF?

	Es gilt:   $h(X)= 1/2 \cdot \ln (2\pi\hspace{0.05cm}{\rm e}\hspace{0.05cm}\sigma^2)$  mit der Pseudoeinheit „nat”.
	Es gilt:   $h(X)= 1/2 \cdot \log_2 (2\pi\hspace{0.05cm}{\rm e}\hspace{0.05cm}\sigma^2)$  mit der Pseudoeinheit „bit”.

3

Ergänzen Sie den fehlenden Eintrag für die Gauß–WDF in obiger Tabelle.

${\it \Gamma}_{\rm L} \ = \ $

4

Welche Werte erhält man für die Gauß–WDF mit dem Gleichanteil  $m_1 = \sigma = 1$?

$P/\sigma^2 \ = \ $

$h(X) \ = \ $ $\ \rm bit$

5

Welche der Aussagen stimmen für die differentielle Entropie $h(X)$ unter der Nebenbedingung „Leistungsbegrenzung” auf ${\rm E}\big[|X – m_1|^2\big] ≤ σ^2$?

	Die Gaußverteilung   ⇒   $f_4(x)$ führt zum maximalen $h(X)$.
	Die Gleichverteilung   ⇒   $f_1(x)$ führt zum maximalen $h(X)$.
	Die Dreieck–WDF   ⇒   $f_2(x)$ ist sehr ungünstig, da spitzenwertbegrenzt.
	Die Dreieck–WDF   ⇒   $f_2(x)$ ist günstiger als die Laplaceverteilung   ⇒   $f_3(x)$.

6

Welche der Aussagen stimmen bei „Spitzenwertbegrenzung” auf den Bereich $|X| ≤ A$. Die maximale differentielle Entropie $h(X)$ ergibt sich für

	eine Gauß–WDF   ⇒   $f_4(x)$ mit anschließender Begrenzung   ⇒  $|X| ≤ A$,
	die Gleichverteilung   ⇒   $f_1(x)$,
	die Dreieckverteilung   ⇒   $f_2(x)$.

Musterlösung

Musterlösung

(1)  Wir gehen von der mittelwertfreien Gauß–WDF aus:

$$f_X(x) = f_4(x) =A \cdot {\rm exp} [ - \hspace{0.05cm}\frac{x ^2}{2 \sigma^2}] \hspace{0.5cm}{\rm mit}\hspace{0.5cm} A = \frac{1}{\sqrt{2\pi \sigma^2}}\hspace{0.05cm}.$$

Logarithmiert man diese Funktion, so erhält man als Ergebnis den Lösungsvorschlag 1:

$${\rm ln}\hspace{0.1cm} \left [f_X(x) \right ] = {\rm ln}\hspace{0.1cm}(A) + {\rm ln}\hspace{0.1cm}\left [{\rm exp} ( - \hspace{0.05cm}\frac{x ^2}{2 \sigma^2}) \right ] = {\rm ln}\hspace{0.1cm}(A) - \frac{x ^2}{2 \sigma^2}\hspace{0.05cm}.$$

(2)  Mit diesem Ergebnis erhält man für die differentielle Entropie in „nat”:

$$h_{\rm nat}(X)= -\hspace{-0.1cm} \int_{-\infty}^{+\infty} \hspace{-0.15cm} f_X(x) \cdot {\rm ln} \hspace{0.1cm} [f_X(x)] \hspace{0.1cm}{\rm d}x = - {\rm ln}\hspace{0.1cm}(A) \cdot \int_{-\infty}^{+\infty} \hspace{-0.15cm} f_X(x) \hspace{0.1cm}{\rm d}x + \frac{1}{2 \sigma^2} \cdot \int_{-\infty}^{+\infty} \hspace{-0.15cm} x^2 \cdot f_X(x) \hspace{0.1cm}{\rm d}x = - {\rm ln}\hspace{0.1cm}(A) + {1}/{2} \hspace{0.05cm}.$$

Hierbei ist berücksichtigt, dass das erste Integral gleich 1 ist (WDF–Fläche) und das zweite Integral gleich die Varianz σ² angibt (wenn wie hier der Gleichanteil m₁ = 0 ist). Ersetzt man die Abkürzungsvariable A, so erhält man:

$$h_{\rm nat}(X) \hspace{-0.15cm} = \hspace{-0.15cm} - {\rm ln}\hspace{0.05cm}\left (\frac{1}{\sqrt{2\pi \sigma^2}} \right ) + {1}/{2} = {1}/{2}\cdot {\rm ln}\hspace{0.05cm}\left ({2\pi \sigma^2} \right ) + {1}/{2} \cdot {\rm ln}\hspace{0.05cm}\left ( {\rm e} \right ) = {1}/{2} \cdot {\rm ln}\hspace{0.05cm}\left ({{2\pi {\rm e} \cdot \sigma^2}} \right ) \hspace{0.05cm}.$$

Soll die differentielle Entropie h(X) nicht in „nat” angegeben werden, sondern in „bit”, so ist für den Logarithmus die Basis 2 zu wählen:

$$h_{\rm bit}(X) = {1}/{2} \cdot {\rm log}_2\hspace{0.05cm}\left ({{2\pi {\rm e} \cdot \sigma^2}} \right ) \hspace{0.05cm}.$$

Das heißt: Beide Lösungsvorschläge sind richtig.

(3)  Nach der impliziten Definition h(X) = 1/2 · log₂ (Γ_L · σ²) ergibt sich somit für die Kenngröße:

$${\it \Gamma}_{\rm L} = 2\pi {\rm e} \hspace{0.15cm}\underline{\approx 17.08} \hspace{0.05cm}.$$

(4)  Wir betrachten nun eine Gaußsche Wahrscheinlichkeitsdichtefunktion mit Mittelwert m₁:

$$f_X(x) = \frac{1}{\sqrt{2\pi \sigma^2}} \cdot {\rm exp}\left [ - \hspace{0.05cm}\frac{(x -m_1)^2}{2 \sigma^2} \right ] \hspace{0.05cm}.$$

Das zweite Moment m₂ = E[|X|²] kann man auch als die Leistung P bezeichnen, während für die Varianz gilt: σ² = E[|X – m₁|²]= μ₂ (ist gleichzeitig das zweite Zentralmoment). Nach dem Satz von Steiner gilt P = m₂ = m₁² + σ². Unter der Voraussetzung m₁ = σ = 1 ist somit $\underline{P/\sigma^2 = 2}$.

Durch den Gleichanteil wird zwar die Leistung verdoppelt. An der differentiellen Entropie ändert sich dadurch aber nichts. Es gilt somit weiterhin:

$$h(X) = {1}/{2} \cdot {\rm log}_2\hspace{0.05cm}\left ({{2\pi {\rm e} \cdot \sigma^2}} \right )= {1}/{2} \cdot {\rm log}_2\hspace{0.05cm} (17.08)\hspace{0.15cm}\underline{\approx 2.047\,{\rm bit}} \hspace{0.05cm}.$$

Vervollständigte Tabelle zur differentiellen Entropie

(5)  In der vervollständigten Tabelle sind auch die numerischen Werte der Kenngrößen Γ_L und Γ_A eingetragen.

Eine Wahrscheinlichkeitsdichtefunktion f_X(x) ist bei Leistungsbegrenzung immer dann besonders günstig, wenn der Wert Γ_L (rechte Spalte) möglichst groß ist. Dann ist die differentielle Entropie h(X) ebenfalls groß. Die numerischen Ergebnisse lassen sich wie folgt interpretieren:

• Wie imTheorieteil bewiesen wird, führt die Gaußverteilung f₄(x) hier zum größtmöglichen Γ_L ≈ 17.08 ⇒  Lösungsvorschlag 1 ist richtig (Wert in der letzten Spalte rot markiert).
• Für die Gleichverteilung f₁(x) ist die Kenngröße Γ_L = 12 die kleinste in der gesamten Tabelle ⇒ der Lösungsvorschlag 2 ist falsch.
• Die Dreieckverteilung f₂(x) ist mit Γ_L = 16.31 günstiger als die Gleichverteilung und auch besser als die Laplaceverteilung (f₃(x), Γ_L = 14.78) ⇒ auch der Lösungsvorschlag 3 ist falsch.

(6)  Eine WDF f_X(x) ist unter der Nebenbedingung der Spitzenwertbegrenzung  ⇒  |X| ≤ A günstig hinsichtlich der differentiellen Entropie h(X), wenn der Bewertungsfaktor Γ_A (mittlere Spalte) möglichst groß ist:

• Wie im Theorieteil gezeigt wird, führt die Gleichverteilung f₁(x) hier zum größtmöglichen Γ_A = 2   ⇒   der Lösungsvorschlag 2 ist richtig (Wert in der mittleren Spalte rot markiert).
• Die ebenfalls spitzenwertbegrenzte Dreieckverteilung f₂(x) ist durch ein etwas kleineres Γ_A = 1.649 gekennzeichnet   ⇒   der Lösungsvorschlag 3 ist falsch.
• Die Gaußverteilung f₄(x) ist unendlich weit ausgedehnt. Eine Spitzenwertbegrenzung auf |X| ≤ A führt hier zu Diracfunktionen in der WDF  ⇒  h(X) = –∞, siehe Musterlösung zur Zusatzaufgabe 4.2Z, Teilaufgabe (4).
• Gleiches würde auch für die Laplaceverteilung f₃(x) gelten.