Betrachtet werden zwei Wahrscheinlichkeitsdichtefunktionen (kurz WDF) mit dreieckförmigem Verlauf.
Betrachtet werden zwei Wahrscheinlichkeitsdichtefunktionen $($kurz $\rm WDF)$ mit dreieckförmigem Verlauf.
* Die Zufallsgröße $X$ ist auf den Wertebereich von $0$ und $1$ begrenzt, und es gilt für die WDF (obere Skizze):
* Die Zufallsgröße $X$ ist auf den Wertebereich von $0$ bis $1$ begrenzt, und es gilt für die WDF (obere Skizze):
* Der Zusammenhang zwischen den zwei Zufallsgrößen ist durch die Gleichung $X = |Y|$ gegeben.
Für beide Zufallsgrößen soll jeweils die [[Informationstheorie/Differentielle_Entropie|differentielle Entropie]] ermittelt werden.
Für beide Zufallsgrößen soll jeweils die [[Informationstheorie/Differentielle_Entropie|differentielle Entropie]] ermittelt werden. Beispielsweise lautet die entsprechende Gleichung für die Zufallsgröße $X$:
Beispielsweise lautet die entsprechende Gleichung für die Zufallsgröße $X$:
*Ist das Ergebnis dagegen in „bit” gefragt, so ist der „Logarithmus dualis” ⇒ „$\log_2$” zu verwenden.
\hspace{0.05cm}.$$
*Verwendet man den ''natürlichen Logarithmus'', so ist die Pseudo–Einheit „nat” anzufügen.
*Ist das Ergebnis dagegen in „bit” gefragt, so ist der <i>Logarithmus dualis</i> ⇒ „log<sub>2</sub>” zu verwenden.
In der vierten Teilaufgabe wird die neue Zufallsgröße $Z = A \cdot Y$ betrachtet. Der WDF–Parameter $A$ ist so zu bestimmen, dass die differentielle Entropie der neuen Zufallsgröße $Z$</i> genau 1 bit ergibt:<br>
In der vierten Teilaufgabe wird die neue Zufallsgröße $Z = A \cdot Y$ betrachtet. Der WDF–Parameter $A$ ist dabei so zu bestimmen, dass die differentielle Entropie der neuen Zufallsgröße $Z$ genau $1$ (bit) ergibt:<br>
:$$h(Z) = h (A \cdot Y) = h (Y) + {\rm log}_2 \hspace{0.1cm} (A) = 1\,{\rm bit} \hspace{0.05cm}.$$
:$$h(Z) = h (A \cdot Y) = h (Y) + {\rm log}_2 \hspace{0.1cm} (A) = 1\,{\rm bit} \hspace{0.05cm}.$$
''Hinweise:''
*Die Aufgabe gehört zum Kapitel [[Informationstheorie/Differentielle_Entropie|Differentielle Entropie]].
*Nützliche Hinweise zur Lösung dieser Aufgabe und weitere Informationen zu den wertkontinuierlichen Zufallsgrößen finden Sie im Kapitel „Kontinuierliche Zufallsgrößen” des Buches [[Stochastische Signaltheorie]].
*Sollte die Eingabe des Zahlenwertes „0” erforderlich sein, so geben Sie bitte „0.” ein.
Hinweise:
*Die Aufgabe gehört zum Kapitel [[Informationstheorie/Differentielle_Entropie|Differentielle Entropie]].
*Nützliche Hinweise zur Lösung dieser Aufgabe und weitere Informationen zu den wertkontinuierlichen Zufallsgrößen finden Sie im dritten Kapitel „Kontinuierliche Zufallsgrößen” des Buches [[Stochastische Signaltheorie]].
*Vorgegeben ist das folgende unbestimmte Integral:
*Vorgegeben ist das folgende unbestimmte Integral:
'''(1)''' Für die Wahrscheinlichkeitsdichtefunktion gilt im Bereich $ \le X \le 1$ vereinbarungsgemäß: $f_X(x) = 2x = C \cdot x
'''(1)''' Für die Wahrscheinlichkeitsdichtefunktion gilt im Bereich $0 \le X \le 1$ vereinbarungsgemäß:
\hspace{0.05cm}.$ Wir haben hierbei „2” durch $C$ ersetzt ⇒ Verallgemeinerung, um in der Teilaufgabe $(3)$ die nachfolgende Berechnung nochmals nutzen zu können.
:$$f_X(x) = 2x = C \cdot x\hspace{0.05cm}.$$
*Wir haben hierbei „2” durch $C$ ersetzt ⇒ Verallgemeinerung, um in der Teilaufgabe $(3)$ die nachfolgende Berechnung nochmals nutzen zu können.
*Da die differentielle Entropie in „nat” gesucht ist, verwenden wir den natürlichen Logarithmus. Mit der Substitution $\xi = C \cdot x$ erhalten wir:
Da die differentielle Entropie in „nat” gesucht ist, verwenden wir den natürlichen Logarithmus. Mit der Substitution $\xi = C \cdot x$ erhalten wir:
:$$h_{\rm nat}(X) = \hspace{0.1cm} - \int_{0}^{1} \hspace{0.1cm} C \cdot x \cdot {\rm ln} \hspace{0.1cm} [ C \cdot x ] \hspace{0.1cm}{\rm d}x =
*Diese Umrechnung kann man sich sparen, wenn man bereits im analytischen Ergebnis der Teilaufgabe $(1)$ direkt „ln” durch „log<sub>2</sub>” ersetzt:
Diese Umrechnung kann man sich sparen, wenn man bereits im analytischen Ergebnis der Teilaufgabe (1) direkt „ln” durch „log<sub>2</sub>” ersetzt:
*Das erste Integral für den Bereich $-1 \le y \le 0$ ist formgleich mit dem der Teilaufgabe $(1)$ und gegenüber diesem nur verschoben, was das Ergebnis nicht beeinflusst.
\hspace{0.05cm}.$$
*Zu berücksichtigen ist nun die Höhe $C = 1$ anstelle von $C = 2$:
*Der zweite Integrand ist bis auf eine Verschiebung und Spiegelung identisch mit dem ersten. Außerdem überlappen sich die Integrationsintervalle nicht ⇒ $I_{\rm pos} = I_{\rm neg}$:
*Das erste Integral (Bereich $-1 \le y \le 0$) ist formgleich mit dem der Teilaufgabe $(1)$ und gegenüber diesem nur verschoben, was das Ergebnis nicht beeinflusst. Zu berücksichtigen ist nun die Höhe $C = 1$ anstelle von $C = 2$:
*Der zweite Integrand ist bis auf eine Verschiebung und Spiegelung identisch mit dem ersten. Außerdem überlappen sich die Integrationsintervalle nicht ⇒ $I_{\rm pos} = I_{\rm neg}$:
Verwendet man den „natürlichen Logarithmus”, so ist die Pseudo–Einheit „nat” anzufügen.
Ist das Ergebnis dagegen in „bit” gefragt, so ist der „Logarithmus dualis” ⇒ „$\log_2$” zu verwenden.
In der vierten Teilaufgabe wird die neue Zufallsgröße $Z = A \cdot Y$ betrachtet. Der WDF–Parameter $A$ ist dabei so zu bestimmen, dass die differentielle Entropie der neuen Zufallsgröße $Z$ genau $1$ (bit) ergibt:
$$h(Z) = h (A \cdot Y) = h (Y) + {\rm log}_2 \hspace{0.1cm} (A) = 1\,{\rm bit} \hspace{0.05cm}.$$
Nützliche Hinweise zur Lösung dieser Aufgabe und weitere Informationen zu den wertkontinuierlichen Zufallsgrößen finden Sie im dritten Kapitel „Kontinuierliche Zufallsgrößen” des Buches Stochastische Signaltheorie.
Das erste Integral für den Bereich $-1 \le y \le 0$ ist formgleich mit dem der Teilaufgabe $(1)$ und gegenüber diesem nur verschoben, was das Ergebnis nicht beeinflusst.
Zu berücksichtigen ist nun die Höhe $C = 1$ anstelle von $C = 2$:
Der zweite Integrand ist bis auf eine Verschiebung und Spiegelung identisch mit dem ersten. Außerdem überlappen sich die Integrationsintervalle nicht ⇒ $I_{\rm pos} = I_{\rm neg}$:
