Aufgabe 4.3: WDF–Vergleich bezüglich differentieller Entropie

Aus LNTwww
Wechseln zu:Navigation, Suche

h(X) für verschiedene Dichtefunktionen

Nebenstehende Tabelle zeigt das Vergleichsergebnis hinsichtlich der differentiellen Entropie $h(X)$ für

$$f_1(x) = \left\{ \begin{array}{c} 1/(2A) \\ 0 \\ \end{array} \right. \begin{array}{*{20}c} {\rm{f\ddot{u}r}} \hspace{0.1cm} |x| \le A \\ {\rm sonst} \\ \end{array} ,$$

$$f_2(x) = \left\{ \begin{array}{c} 1/A \cdot [1 - |x|/A] \\ 0 \\ \end{array} \right. \begin{array}{*{20}c} {\rm{f\ddot{u}r}} \hspace{0.1cm} |x| \le A \\ {\rm sonst} \\ \end{array} ,$$

$$f_3(x) = \lambda/2 \cdot {\rm exp}[-\lambda \cdot |x|]\hspace{0.05cm}.$$

Die Werte für die Gaußverteilung   ⇒   $f_X(x) = f_4(x)$ $$f_4(x) = \frac{1}{\sqrt{2\pi \sigma^2}} \cdot {\rm exp} [ - \hspace{0.05cm}{x ^2}/{(2 \sigma^2})]$$ sind hier noch nicht eingetragen. Diese sollen in den Teilaufgaben (a) bis (c) ermittelt werden.

Alle hier betrachteten Wahrscheinlichkeitsdichtefunktionen sind

  • symmetrisch um x = 0   ⇒   fX(–x) = fX(x)
  • und damit mittelwertfrei   ⇒   m1 = 0.

In allen hier betrachteten Fällen kann die differentielle Entropie wie folgt dargestellt werden:

  • Unter der Nebenbedingung |X| ≤ A         ⇒   Spitzenwertbegrenzung: $$h(X) = {\rm log} \hspace{0.1cm} ({\it \Gamma}_{\hspace{-0.1cm}\rm A} \cdot A) \hspace{0.05cm},$$
    • Unter der Nebenbedingung E[|X|2] ≤ σ2  ⇒  Leistungsbegrenzung: $$h(X) = {1}/{2} \cdot {\rm log} \hspace{0.1cm} ({\it \Gamma}_{\hspace{-0.1cm}\rm L} \cdot \sigma^2) \hspace{0.05cm}.$$ Je größer die jeweilige Kenngröße ΓA bzw. ΓL ist, desto günstiger ist bei der vereinbarten Nebenbedingung die vorliegende WDF hinsichtlich der differentiellen Entropie. $$$$Hinweis: Die Aufgabe gehört zum Themengebiet von Kapitel 4.1.

      Fragebogen

      1

      Welche Gleichung gilt für den Logarithmus der Gauß–WDF?

      ln [fX(x)] = ln Ax2/(2 σ2)     mit     A = fX(x = 0),
      ln [fX(x)] = A – ln (x2/σ2)       mit     A = fX(x = 0).

      2

      Welche Gleichung gilt für die differentielle Entropie der Gauß–WDF?

      h(X) = 1/2 · ln (2πeσ2) mit Pseudoeinheit „nat”.
      h(X) = 1/2 · log2 (2πeσ2) mit Pseudoeinheit „bit”.

      3

      Ergänzen Sie den fehlenden Eintrag (Gauß) in obiger Tabelle.

      $ ΓL$ =

      4

      Welche Werte erhält man für die Gauß–WDF mit Gleichanteil m1 = σ = 1?

      $ P/σ2$ =

      $ h(X)$ =

      5

      Welche der Aussagen stimmen für die differentielle Entropie h(X) unter der Nebenbedingung „Leistungsbegrenzung”?

      Die Gaußverteilung führt zum maximalen h(X).
      Die Gleichverteilung führt zum maximalen h(X).
      Die Dreieck–WDF ist sehr ungünstig, da spitzenwertbegrenzt.

      6

      Welche der Aussagen stimmen bei „Spitzenwertbegrenzung” auf den Bereich <nobr>|X| ≤ A?</nobr> Die maximale differentielle Entropie h(X) ergibt sich für

      eine Gauß–WDF mit anschließender Begrenzung  ⇒  |X| ≤ A,
      die Gleichverteilung,
      die Dreieckverteilung.


      Musterlösung

      a)  Wir gehen von der mittelwertfreien Gauß–WDF aus: $$f_X(x) = f_4(x) =A \cdot {\rm exp} [ - \hspace{0.05cm}\frac{x ^2}{2 \sigma^2}] \hspace{0.5cm}{\rm mit}\hspace{0.5cm} A = \frac{1}{\sqrt{2\pi \sigma^2}}\hspace{0.05cm}.$$ Logarithmiert man diese Funktion, so erhält man als Ergebnis den Lösungsvorschlag 1: $${\rm ln}\hspace{0.1cm} \left [f_X(x) \right ] = {\rm ln}\hspace{0.1cm}(A) + {\rm ln}\hspace{0.1cm}\left [{\rm exp} ( - \hspace{0.05cm}\frac{x ^2}{2 \sigma^2}) \right ] = {\rm ln}\hspace{0.1cm}(A) - \frac{x ^2}{2 \sigma^2}\hspace{0.05cm}.$$ b)  Mit diesem Ergebnis erhält man für die differentielle Entropie in „nat”: $$h_{\rm nat}(X) \hspace{-0.15cm} = \hspace{-0.15cm} -\hspace{-0.1cm} \int_{-\infty}^{+\infty} \hspace{-0.15cm} f_X(x) \cdot {\rm ln} \hspace{0.1cm} [f_X(x)] \hspace{0.1cm}{\rm d}x$$ $$=\ \hspace{-0.15cm} - {\rm ln}\hspace{0.1cm}(A) \cdot \int_{-\infty}^{+\infty} \hspace{-0.15cm} f_X(x) \hspace{0.1cm}{\rm d}x + \frac{1}{2 \sigma^2} \cdot \int_{-\infty}^{+\infty} \hspace{-0.15cm} x^2 \cdot f_X(x) \hspace{0.1cm}{\rm d}x = - {\rm ln}\hspace{0.1cm}(A) + \frac{1}{2} \hspace{0.05cm}.$$ Hierbei ist berücksichtigt, dass das erste Integral gleich 1 ist (WDF–Fläche) und das zweite Integral gleich die Varianz σ2 angibt (wenn wie hier der Gleichanteil m1 = 0 ist).

      Ersetzt man die Abkürzungsvariable A, so erhält man: $$h_{\rm nat}(X) \hspace{-0.15cm} = \hspace{-0.15cm} - {\rm ln}\hspace{0.05cm}\left (\frac{1}{\sqrt{2\pi \sigma^2}} \right ) + \frac{1}{2} = \frac{1}{2} \cdot {\rm ln}\hspace{0.05cm}\left ({2\pi \sigma^2} \right ) + \frac{1}{2} \cdot {\rm ln}\hspace{0.05cm}\left ( {\rm e} \right ) = \frac{1}{2} \cdot {\rm ln}\hspace{0.05cm}\left ({{2\pi {\rm e} \cdot \sigma^2}} \right ) \hspace{0.05cm}.$$ Soll die differentielle Entropie h(X) nicht in „nat” angegeben werden, sondern in „bit”, so ist für den Logarithmus die Basis 2 zu wählen: $$h_{\rm bit}(X) = \frac{1}{2} \cdot {\rm log}_2\hspace{0.05cm}\left ({{2\pi {\rm e} \cdot \sigma^2}} \right ) \hspace{0.05cm}.$$ Das heißt: Hier sind beide Lösungsvorschläge richtig.

      c)  Nach der impliziten Definition h(X) = 1/2 · log2 (ΓL · σ2) ergibt sich somit für die Kenngröße: $${\it \Gamma}_{\rm L} = 2\pi {\rm e} \hspace{0.15cm}\underline{\approx 17.08} \hspace{0.05cm}.$$ d)  Wir betrachten nun eine Gaußsche Wahrscheinlichkeitsdichtefunktion mit Mittelwert m1: $$f_X(x) = \frac{1}{\sqrt{2\pi \sigma^2}} \cdot {\rm exp}\left [ - \hspace{0.05cm}\frac{(x -m_1)^2}{2 \sigma^2} \right ] \hspace{0.05cm}.$$ Das zweite Moment m2 = E[|X|2] kann man auch als die Leistung P bezeichnen, während für die Varianz gilt: σ2 = E[|Xm1|2]= μ2 (ist gleichzeitig das zweite Zentralmoment). Nach dem Satz von Steiner gilt P = m2 = m12 + σ2. Unter der Voraussetzung m1 = σ = 1 ist somit P/σ2 = 2.

      Durch den Gleichanteil wird zwar die Leistung verdoppelt. An der differentiellen Entropie ändert sich dadurch aber nichts. Es gilt somit weiterhin: $$h(X) = {1}/{2} \cdot {\rm log}_2\hspace{0.05cm}\left ({{2\pi {\rm e} \cdot \sigma^2}} \right )= {1}/{2} \cdot {\rm log}_2\hspace{0.05cm} (17.08)\hspace{0.15cm}\underline{\approx 2.047\,{\rm bit}} \hspace{0.05cm}.$$

      P ID2876 Inf A 4 3e neu.png

      e)  In der vervollständigten Tabelle sind auch die numerischen Werte der Kenngrößen ΓL und ΓA eingetragen.

      Eine Wahrscheinlichkeitsdichtefunktion fX(x) ist bei Leistungsbegrenzung immer dann besonders günstig, wenn der Wert ΓL (rechte Spalte) möglichst groß ist. Dann ist die differentielle Entropie h(X) ebenfalls groß.

      Die numerischen Ergebnisse lassen sich wie folgt interpretieren:

      • Wie im Theorieteil bewiesen, führt die Gaußverteilung f4(x) hier zum größtmöglichen ΓL ≈ 17.08 ⇒  Lösungsvorschlag 1 ist richtig (Wert in der letzten Spalte rot markiert).
      • Für die Gleichverteilung f1(x) ist die Kenngröße ΓL = 12 die kleinste in der gesamten Tabelle ⇒ Lösungsvorschlag 2 ist falsch.
      • Die Dreieckverteilung f2(x) ist mit ΓL = 16.31 günstiger als die Gleichverteilung und auch besser als die Laplaceverteilung (f3(x, ΓL = 14.78) ⇒ auch Lösungsvorschlag 3 ist falsch.

      f)   Eine WDF fX(x) ist unter der Nebenbedingung der Spitzenwertbegrenzung  ⇒  |X| ≤ A günstig hinsichtlich der differentiellen Entropie h(X), wenn ΓA (mittlere Spalte) möglichst groß ist:

      • Wie im Theorieteil gezeigt wird, führt die Gleichverteilung f1(x) hier zum größtmöglichen ΓA = 2 ⇒  Lösungsvorschlag 2 ist richtig (Wert in der mittleren Spalte rot markiert).
      • Die ebenfalls spitzenwertbegrenzte Dreieckverteilung f2(x) ist durch ein etwas kleineres <nobr>ΓA = 1.649</nobr> gekennzeichnet

       ⇒  Lösungsvorschlag 3 ist falsch.

      • Die Gaußverteilung f4(x) ist unendlich weit ausgedehnt. Eine Spitzenwertbegrenzung auf |X| ≤ A führt hier zu Diracfunktionen in der WDF  ⇒  h(X) = –∞, siehe Aufgabe Z4.2 – Musterlösung.
      • Gleiches würde auch für die Laplaceverteilung f3(x) gelten.