Betrachtet werden zwei Wahrscheinlichkeitsdichtefunktionen (kurz WDF) mit dreieckförmigem Verlauf.
Betrachtet werden zwei Wahrscheinlichkeitsdichtefunktionen $($kurz $\rm WDF)$ mit dreieckförmigem Verlauf.
* Die Zufallsgröße $X$ ist auf den Wertebereich von $0$ und $1$ begrenzt, und es gilt für die WDF (obere Skizze):
* Die Zufallsgröße $X$ ist auf den Wertebereich von $0$ bis $1$ begrenzt, und es gilt für die WDF (obere Skizze):
*Verwendet man den „natürlichen Logarithmus”, so ist die Pseudo–Einheit „nat” anzufügen.
*Ist das Ergebnis dagegen in „bit” gefragt, so ist der „Logarithmus dualis” ⇒ „$\log_2$” zu verwenden.
In der vierten Teilaufgabe wird die neue Zufallsgröße $Z = A \cdot Y$ betrachtet. Der WDF–Parameter $A$ ist dabei so zu bestimmen, dass die differentielle Entropie der neuen Zufallsgröße $Z$ genau $1$ (bit) ergibt:<br>
:$$h(Z) = h (A \cdot Y) = h (Y) + {\rm log}_2 \hspace{0.1cm} (A) = 1\,{\rm bit} \hspace{0.05cm}.$$
Beispielsweise lautet die entsprechende Gleichung für die Zufallsgröße $X$:
*Verwendet man den ''natürlichen Logarithmus'', so ist die Pseudo–Einheit „nat” anzufügen.
*Ist das Ergebnis dagegen in „bit” gefragt, so ist der <i>Logarithmus dualis</i> ⇒ „log<sub>2</sub>” zu verwenden.
In der vierten Teilaufgabe wird die neue Zufallsgröße $Z = A \cdot Y$ betrachtet. Der WDF–Parameter $A$ ist dabei so zu bestimmen, dass die differentielle Entropie der neuen Zufallsgröße $Z$</i> genau $1$ bit ergibt:<br>
:$$h(Z) = h (A \cdot Y) = h (Y) + {\rm log}_2 \hspace{0.1cm} (A) = 1\,{\rm bit} \hspace{0.05cm}.$$
Zeile 31:
Zeile 27:
''Hinweise:''
Hinweise:
*Die Aufgabe gehört zum Kapitel [[Informationstheorie/Differentielle_Entropie|Differentielle Entropie]].
*Die Aufgabe gehört zum Kapitel [[Informationstheorie/Differentielle_Entropie|Differentielle Entropie]].
*Nützliche Hinweise zur Lösung dieser Aufgabe und weitere Informationen zu den wertkontinuierlichen Zufallsgrößen finden Sie im dritten Kapitel „Kontinuierliche Zufallsgrößen” des Buches [[Stochastische Signaltheorie]].
*Nützliche Hinweise zur Lösung dieser Aufgabe und weitere Informationen zu den wertkontinuierlichen Zufallsgrößen finden Sie im dritten Kapitel „Kontinuierliche Zufallsgrößen” des Buches [[Stochastische Signaltheorie]].
*Vorgegeben ist das folgende unbestimmte Integral:
*Vorgegeben ist das folgende unbestimmte Integral:
{Berechnen Sie die differentielle Entropie der Zufallsgröße $X$ in „nat”.
{Berechnen Sie die differentielle Entropie der Zufallsgröße $X$ in „nat”.
|type="{}"}
|type="{}"}
$h(X) \ = \ $ { -0.199--0.187 } $\ \rm nat$
$h(X) \ = \ $ { -0.199--0.187 } $\ \rm nat$
{Welches Ergebnis erhält man mit der Pseudoeinheit „bit”?
{Welches Ergebnis erhält man mit der Pseudoeinheit „bit”?
|type="{}"}
|type="{}"}
$h(X) \ = \ $ { -0.288--0.270 } $\ \rm bit$
$h(X) \ = \ $ { -0.288--0.270 } $\ \rm bit$
{Berechnen Sie die differentielle Entropie der Zufallsgröße $Y$.
{Berechnen Sie die differentielle Entropie der Zufallsgröße $Y$.
|type="{}"}
|type="{}"}
$h(Y) \ = \ $ { 0.721 3% } $\ \rm bit$
$h(Y) \ = \ $ { 0.721 3% } $\ \rm bit$
{Bestimmen Sie den WDF–Parameter $A$, so dass $\underline{h(Z) = h (A \cdot Y) = 1 \ \rm bit}$ gilt.
{Bestimmen Sie den WDF–Parameter $A$ derart, dass $\underline{h(Z) = h (A \cdot Y) = 1 \ \rm bit}$ gilt.
|type="{}"}
|type="{}"}
$A\ = $ { 1.213 3% }
$A\ = $ { 1.213 3% }
Zeile 66:
Zeile 60:
===Musterlösung===
===Musterlösung===
{{ML-Kopf}}
{{ML-Kopf}}
'''(1)''' Für die Wahrscheinlichkeitsdichtefunktion gilt im Bereich $ \le X \le 1$ vereinbarungsgemäß: $f_X(x) = 2x = C \cdot x
'''(1)''' Für die Wahrscheinlichkeitsdichtefunktion gilt im Bereich $0 \le X \le 1$ vereinbarungsgemäß:
\hspace{0.05cm}.$ Wir haben hierbei „2” durch $C$ ersetzt ⇒ Verallgemeinerung, um in der Teilaufgabe $(3)$ die nachfolgende Berechnung nochmals nutzen zu können.
:$$f_X(x) = 2x = C \cdot x\hspace{0.05cm}.$$
*Wir haben hierbei „2” durch $C$ ersetzt ⇒ Verallgemeinerung, um in der Teilaufgabe $(3)$ die nachfolgende Berechnung nochmals nutzen zu können.
*Da die differentielle Entropie in „nat” gesucht ist, verwenden wir den natürlichen Logarithmus. Mit der Substitution $\xi = C \cdot x$ erhalten wir:
Da die differentielle Entropie in „nat” gesucht ist, verwenden wir den natürlichen Logarithmus. Mit der Substitution $\xi = C \cdot x$ erhalten wir:
:$$h_{\rm nat}(X) = \hspace{0.1cm} - \int_{0}^{1} \hspace{0.1cm} C \cdot x \cdot {\rm ln} \hspace{0.1cm} [ C \cdot x ] \hspace{0.1cm}{\rm d}x =
*Diese Umrechnung kann man sich sparen, wenn man bereits im analytischen Ergebnis der Teilaufgabe $(1)$ direkt „ln” durch „log<sub>2</sub>” ersetzt:
Diese Umrechnung kann man sich sparen, wenn man bereits im analytischen Ergebnis der Teilaufgabe (1) direkt „ln” durch „log<sub>2</sub>” ersetzt:
*Das erste Integral für den Bereich $-1 \le y \le 0$ ist formgleich mit dem der Teilaufgabe $(1)$ und gegenüber diesem nur verschoben, was das Ergebnis nicht beeinflusst.
\hspace{0.05cm}.$$
*Zu berücksichtigen ist nun die Höhe $C = 1$ anstelle von $C = 2$:
*Der zweite Integrand ist bis auf eine Verschiebung und Spiegelung identisch mit dem ersten. Außerdem überlappen sich die Integrationsintervalle nicht ⇒ $I_{\rm pos} = I_{\rm neg}$:
*Das erste Integral (Bereich $-1 \le y \le 0$) ist formgleich mit dem der Teilaufgabe $(1)$ und gegenüber diesem nur verschoben, was das Ergebnis nicht beeinflusst. Zu berücksichtigen ist nun die Höhe $C = 1$ anstelle von $C = 2$:
*Der zweite Integrand ist bis auf eine Verschiebung und Spiegelung identisch mit dem ersten. Außerdem überlappen sich die Integrationsintervalle nicht ⇒ $I_{\rm pos} = I_{\rm neg}$:
Verwendet man den „natürlichen Logarithmus”, so ist die Pseudo–Einheit „nat” anzufügen.
Ist das Ergebnis dagegen in „bit” gefragt, so ist der „Logarithmus dualis” ⇒ „$\log_2$” zu verwenden.
In der vierten Teilaufgabe wird die neue Zufallsgröße $Z = A \cdot Y$ betrachtet. Der WDF–Parameter $A$ ist dabei so zu bestimmen, dass die differentielle Entropie der neuen Zufallsgröße $Z$ genau $1$ (bit) ergibt:
$$h(Z) = h (A \cdot Y) = h (Y) + {\rm log}_2 \hspace{0.1cm} (A) = 1\,{\rm bit} \hspace{0.05cm}.$$
Nützliche Hinweise zur Lösung dieser Aufgabe und weitere Informationen zu den wertkontinuierlichen Zufallsgrößen finden Sie im dritten Kapitel „Kontinuierliche Zufallsgrößen” des Buches Stochastische Signaltheorie.
Das erste Integral für den Bereich $-1 \le y \le 0$ ist formgleich mit dem der Teilaufgabe $(1)$ und gegenüber diesem nur verschoben, was das Ergebnis nicht beeinflusst.
Zu berücksichtigen ist nun die Höhe $C = 1$ anstelle von $C = 2$:
Der zweite Integrand ist bis auf eine Verschiebung und Spiegelung identisch mit dem ersten. Außerdem überlappen sich die Integrationsintervalle nicht ⇒ $I_{\rm pos} = I_{\rm neg}$:
