Betrachtet werden zwei Wahrscheinlichkeitsdichtefunktionen (kurz WDF) mit dreieckförmigem Verlauf:
Betrachtet werden zwei Wahrscheinlichkeitsdichtefunktionen $($kurz $\rm WDF)$ mit dreieckförmigem Verlauf.
:* Die Zufallsgröße <i>X</i> ist auf den Wertebereich von 0 und 1 begrenzt, und es gilt für die WDF (obere Skizze)
* Die Zufallsgröße $X$ ist auf den Wertebereich von $0$ bis $1$ begrenzt, und es gilt für die WDF (obere Skizze):
Für beide Zufallsgrößen soll jeweils die [[Informationstheorie/Differentielle_Entropie|differentielle Entropie]] ermittelt werden.
:* Der Zusammenhang zwischen den zwei Zufallsgrößen ist durch die Gleichung <i>X</i> = |<i>Y</i>| gegeben.
Für beide Zufallsgrößen soll jeweils die [http://www.lntwww.de/Informationstheorie/Differentielle_Entropie '''differentielle Entropie'''] ermittelt werden. Beispielsweise lautet die entsprechende Gleichung für die Zufallsgröße <i>X</i>:
Beispielsweise lautet die entsprechende Gleichung für die Zufallsgröße $X$:
*Ist das Ergebnis dagegen in „bit” gefragt, so ist der „Logarithmus dualis” ⇒ „$\log_2$” zu verwenden.
\hspace{0.05cm}.$$
Verwendet man den natürlichen Logarithmus, so ist die Pseudo–Einheit „nat” anzufügen. Ist das Ergebnis dagegen in „bit” gefragt, so ist der <i>Logarithmus dualis</i> ⇒ „log<sub>2</sub>” zu verwenden.
In der vierten Teilaufgabe wird die neue Zufallsgröße $Z = A \cdot Y$ betrachtet. Der WDF–Parameter $A$ ist dabei so zu bestimmen, dass die differentielle Entropie der neuen Zufallsgröße $Z$ genau $1$ (bit) ergibt:<br>
:$$h(Z) = h (A \cdot Y) = h (Y) + {\rm log}_2 \hspace{0.1cm} (A) = 1\,{\rm bit} \hspace{0.05cm}.$$
Hinweise:
*Die Aufgabe gehört zum Kapitel [[Informationstheorie/Differentielle_Entropie|Differentielle Entropie]].
*Nützliche Hinweise zur Lösung dieser Aufgabe und weitere Informationen zu den wertkontinuierlichen Zufallsgrößen finden Sie im dritten Kapitel „Kontinuierliche Zufallsgrößen” des Buches [[Stochastische Signaltheorie]].
*Vorgegeben ist das folgende unbestimmte Integral:
In der Teilaufgabe (d) wird die neue Zufallsgröße <i>Z</i> = <i>A</i> · <i>Y</i> betrachtet. Der WDF–Parameter <i>A</i> ist so zu bestimmen, dass die differentielle Entropie der neuen Zufallsgröße <i>Z</i> genau 1 bit ergibt:<br>
$$h(Z) = h (A \cdot Y) = h (Y) + {\rm log}_2 \hspace{0.1cm} (A) = 1\,{\rm bit} \hspace{0.05cm}.$$
<b>Hinweis:</b> Die Aufgabe gehört zum Themengebiet von [http://www.lntwww.de/Informationstheorie/Differentielle_Entropie '''Kapitel 4.1'''] Vorgegeben ist das folgende unbestimmte Integral:
{Berechnen Sie die differentielle Entropie der Zufallsgröße <i>X</i> in „nat”.
{Berechnen Sie die differentielle Entropie der Zufallsgröße $X$ in „nat”.
|type="{}"}
|type="{}"}
$h(X)$ = { 0.193 3% }
$h(X) \ = \ $ { -0.199--0.187 } $\ \rm nat$
{Welches Ergebnis erhält man mit der Pseudoeinheit „bit”?
{Welches Ergebnis erhält man mit der Pseudoeinheit „bit”?
|type="{}"}
|type="{}"}
$h(X)$ = { 0.279 3% }
$h(X) \ = \ $ { -0.288--0.270 } $\ \rm bit$
{Berechnen Sie die differentielle Entropie der Zufallsgröße <i>Y</i>.
{Berechnen Sie die differentielle Entropie der Zufallsgröße $Y$.
|type="{}"}
|type="{}"}
$h(Y)$ = { 0.721 3% }
$h(Y) \ = \ $ { 0.721 3% } $\ \rm bit$
{Bestimmen Sie den WDF–Parameter <i>A</i>, so dass <i>h</i>(<i>Z</i>) = <i>h</i>(<i>A</i> · <i>Y</i>) = 1 bit gilt.
{Bestimmen Sie den WDF–Parameter $A$ derart, dass $\underline{h(Z) = h (A \cdot Y) = 1 \ \rm bit}$ gilt.
|type="{}"}
|type="{}"}
$ h(Z) = 1 bit: A$ = { 1.213 3% }
$A\ = $ { 1.213 3% }
Zeile 48:
Zeile 60:
===Musterlösung===
===Musterlösung===
{{ML-Kopf}}
{{ML-Kopf}}
'''1.'''
'''(1)''' Für die Wahrscheinlichkeitsdichtefunktion gilt im Bereich $0 \le X \le 1$ vereinbarungsgemäß:
'''2.'''
:$$f_X(x) = 2x = C \cdot x\hspace{0.05cm}.$$
'''3.'''
*Wir haben hierbei „2” durch $C$ ersetzt ⇒ Verallgemeinerung, um in der Teilaufgabe $(3)$ die nachfolgende Berechnung nochmals nutzen zu können.
'''4.'''
'''5.'''
*Da die differentielle Entropie in „nat” gesucht ist, verwenden wir den natürlichen Logarithmus. Mit der Substitution $\xi = C \cdot x$ erhalten wir:
*Diese Umrechnung kann man sich sparen, wenn man bereits im analytischen Ergebnis der Teilaufgabe $(1)$ direkt „ln” durch „log<sub>2</sub>” ersetzt:
*Das erste Integral für den Bereich $-1 \le y \le 0$ ist formgleich mit dem der Teilaufgabe $(1)$ und gegenüber diesem nur verschoben, was das Ergebnis nicht beeinflusst.
*Zu berücksichtigen ist nun die Höhe $C = 1$ anstelle von $C = 2$:
*Der zweite Integrand ist bis auf eine Verschiebung und Spiegelung identisch mit dem ersten. Außerdem überlappen sich die Integrationsintervalle nicht ⇒ $I_{\rm pos} = I_{\rm neg}$:
Verwendet man den „natürlichen Logarithmus”, so ist die Pseudo–Einheit „nat” anzufügen.
Ist das Ergebnis dagegen in „bit” gefragt, so ist der „Logarithmus dualis” ⇒ „$\log_2$” zu verwenden.
In der vierten Teilaufgabe wird die neue Zufallsgröße $Z = A \cdot Y$ betrachtet. Der WDF–Parameter $A$ ist dabei so zu bestimmen, dass die differentielle Entropie der neuen Zufallsgröße $Z$ genau $1$ (bit) ergibt:
$$h(Z) = h (A \cdot Y) = h (Y) + {\rm log}_2 \hspace{0.1cm} (A) = 1\,{\rm bit} \hspace{0.05cm}.$$
Nützliche Hinweise zur Lösung dieser Aufgabe und weitere Informationen zu den wertkontinuierlichen Zufallsgrößen finden Sie im dritten Kapitel „Kontinuierliche Zufallsgrößen” des Buches Stochastische Signaltheorie.
Das erste Integral für den Bereich $-1 \le y \le 0$ ist formgleich mit dem der Teilaufgabe $(1)$ und gegenüber diesem nur verschoben, was das Ergebnis nicht beeinflusst.
Zu berücksichtigen ist nun die Höhe $C = 1$ anstelle von $C = 2$:
Der zweite Integrand ist bis auf eine Verschiebung und Spiegelung identisch mit dem ersten. Außerdem überlappen sich die Integrationsintervalle nicht ⇒ $I_{\rm pos} = I_{\rm neg}$:
