Betrachtet werden zwei Wahrscheinlichkeitsdichtefunktionen (kurz WDF) mit dreieckförmigem Verlauf.
Betrachtet werden zwei Wahrscheinlichkeitsdichtefunktionen $($kurz $\rm WDF)$ mit dreieckförmigem Verlauf.
* Die Zufallsgröße $X$ ist auf den Wertebereich von $0$ und $1$ begrenzt, und es gilt für die WDF (obere Skizze):
* Die Zufallsgröße $X$ ist auf den Wertebereich von $0$ bis $1$ begrenzt, und es gilt für die WDF (obere Skizze):
* Der Zusammenhang zwischen den zwei Zufallsgrößen ist durch die Gleichung $X = |Y|$ gegeben.
Für beide Zufallsgrößen soll jeweils die [[Informationstheorie/Differentielle_Entropie|differentielle Entropie]] ermittelt werden.
Für beide Zufallsgrößen soll jeweils die [[Informationstheorie/Differentielle_Entropie|differentielle Entropie]] ermittelt werden. Beispielsweise lautet die entsprechende Gleichung für die Zufallsgröße $X$:
Beispielsweise lautet die entsprechende Gleichung für die Zufallsgröße $X$:
*Ist das Ergebnis dagegen in „bit” gefragt, so ist der „Logarithmus dualis” ⇒ „$\log_2$” zu verwenden.
\hspace{0.05cm}.$$
*Verwendet man den ''natürlichen Logarithmus'', so ist die Pseudo–Einheit „nat” anzufügen.
*Ist das Ergebnis dagegen in „bit” gefragt, so ist der <i>Logarithmus dualis</i> ⇒ „log<sub>2</sub>” zu verwenden.
In der vierten Teilaufgabe wird die neue Zufallsgröße $Z = A \cdot Y$ betrachtet. Der WDF–Parameter $A$ ist so zu bestimmen, dass die differentielle Entropie der neuen Zufallsgröße $Z$</i> genau 1 bit ergibt:<br>
In der vierten Teilaufgabe wird die neue Zufallsgröße $Z = A \cdot Y$ betrachtet. Der WDF–Parameter $A$ ist dabei so zu bestimmen, dass die differentielle Entropie der neuen Zufallsgröße $Z$ genau $1$ (bit) ergibt:<br>
:$$h(Z) = h (A \cdot Y) = h (Y) + {\rm log}_2 \hspace{0.1cm} (A) = 1\,{\rm bit} \hspace{0.05cm}.$$
:$$h(Z) = h (A \cdot Y) = h (Y) + {\rm log}_2 \hspace{0.1cm} (A) = 1\,{\rm bit} \hspace{0.05cm}.$$
''Hinweise:''
*Die Aufgabe gehört zum Kapitel [[Informationstheorie/Differentielle_Entropie|Differentielle Entropie]].
*Nützliche Hinweise zur Lösung dieser Aufgabe und weitere Informationen zu den wertkontinuierlichen Zufallsgrößen finden Sie im Kapitel „Kontinuierliche Zufallsgrößen” des Buches [[Stochastische Signaltheorie]].
*Sollte die Eingabe des Zahlenwertes „0” erforderlich sein, so geben Sie bitte „0.” ein.
Hinweise:
*Die Aufgabe gehört zum Kapitel [[Informationstheorie/Differentielle_Entropie|Differentielle Entropie]].
*Nützliche Hinweise zur Lösung dieser Aufgabe und weitere Informationen zu den wertkontinuierlichen Zufallsgrößen finden Sie im dritten Kapitel „Kontinuierliche Zufallsgrößen” des Buches [[Stochastische Signaltheorie]].
*Vorgegeben ist das folgende unbestimmte Integral:
*Vorgegeben ist das folgende unbestimmte Integral:
<b>a)</b> Für die Wahrscheinlichkeitsdichtefunktion gilt im Bereich 0 ≤ <i>X</i> ≤ 1 vereinbarungsgemäß:
'''(1)''' Für die Wahrscheinlichkeitsdichtefunktion gilt im Bereich $0 \le X \le 1$ vereinbarungsgemäß:
$$f_X(x) = 2x = C \cdot x
:$$f_X(x) = 2x = C \cdot x\hspace{0.05cm}.$$
\hspace{0.05cm}.$$
*Wir haben hierbei „2” durch $C$ ersetzt ⇒ Verallgemeinerung, um in der Teilaufgabe $(3)$ die nachfolgende Berechnung nochmals nutzen zu können.
*Da die differentielle Entropie in „nat” gesucht ist, verwenden wir den natürlichen Logarithmus. Mit der Substitution $\xi = C \cdot x$ erhalten wir:
*Diese Umrechnung kann man sich sparen, wenn man bereits im analytischen Ergebnis der Teilaufgabe $(1)$ direkt „ln” durch „log<sub>2</sub>” ersetzt:
Wir haben hierbei „2” durch <i>C</i> ersetzt ⇒ Verallgemeinerung, um in der Teilaufgabe (c) die nachfolgende Berechnung nochmals nutzen zu können.
Da die differentielle Entropie in „nat” gesucht ist, verwenden wir den natürlichen Logarithmus. Mit der Substitution <i>ξ</i> = <i>C</i> · <i>x</i> erhalten wir folgendes Integral:
Hierbei wurde das vorne angegebene unbestimmte Integral benutzt. Nach Einsetzen der Grenzen erhält man hieraus unter Berücksichtigung von <i>C</i> = 2:
*Das erste Integral für den Bereich $-1 \le y \le 0$ ist formgleich mit dem der Teilaufgabe $(1)$ und gegenüber diesem nur verschoben, was das Ergebnis nicht beeinflusst.
Diese Umrechnung kann man sich sparen, wenn man bereits im analytischen Ergebnis der Teilaufgabe '''a)''' direkt „ln” durch „log<sub>2</sub>” ersetzt:
*Der zweite Integrand ist bis auf eine Verschiebung und Spiegelung identisch mit dem ersten. Außerdem überlappen sich die Integrationsintervalle nicht ⇒ $I_{\rm pos} = I_{\rm neg}$:
<b>c)</b> Wir verwenden wieder den natürlichen Logarithmus und teilen das Integral in zwei Teilintegrale auf:
Das erste Integral (Bereich –1 ≤ <i>y</i> ≤ 0) ist formgleich mit dem der Teilaufgabe (a) und gegenüber diesem nur verschoben, was das Ergebnis nicht beeinflusst. Zu berücksichtigen ist nun die Höhe <i>C</i> = 1 anstelle von <i>C</i> = 2:
Der zweite Integrand ist bis auf eine Verschiebung und Spiegelung identisch mit dem ersten. Außerdem überlappen sich die Integrationsintervalle nicht ⇒ <i>I</i><sub>pos</sub> = <i>I</i><sub>neg</sub>:
Verwendet man den „natürlichen Logarithmus”, so ist die Pseudo–Einheit „nat” anzufügen.
Ist das Ergebnis dagegen in „bit” gefragt, so ist der „Logarithmus dualis” ⇒ „$\log_2$” zu verwenden.
In der vierten Teilaufgabe wird die neue Zufallsgröße $Z = A \cdot Y$ betrachtet. Der WDF–Parameter $A$ ist dabei so zu bestimmen, dass die differentielle Entropie der neuen Zufallsgröße $Z$ genau $1$ (bit) ergibt:
$$h(Z) = h (A \cdot Y) = h (Y) + {\rm log}_2 \hspace{0.1cm} (A) = 1\,{\rm bit} \hspace{0.05cm}.$$
Nützliche Hinweise zur Lösung dieser Aufgabe und weitere Informationen zu den wertkontinuierlichen Zufallsgrößen finden Sie im dritten Kapitel „Kontinuierliche Zufallsgrößen” des Buches Stochastische Signaltheorie.
Das erste Integral für den Bereich $-1 \le y \le 0$ ist formgleich mit dem der Teilaufgabe $(1)$ und gegenüber diesem nur verschoben, was das Ergebnis nicht beeinflusst.
Zu berücksichtigen ist nun die Höhe $C = 1$ anstelle von $C = 2$:
Der zweite Integrand ist bis auf eine Verschiebung und Spiegelung identisch mit dem ersten. Außerdem überlappen sich die Integrationsintervalle nicht ⇒ $I_{\rm pos} = I_{\rm neg}$:
