(12 dazwischenliegende Versionen von 2 Benutzern werden nicht angezeigt)
Zeile 3:
Zeile 3:
}}
}}
[[Datei:P_ID2789__Inf_Z_3_9.png|right|Entropien der Kanalmodelle „BC” und „BSC”]]
[[Datei:P_ID2789__Inf_Z_3_9.png|right|frame|Entropien der Modelle „BC” und „BSC”]]
Die Kanalkapazität $C$ wurde von [https://en.wikipedia.org/wiki/Claude_Shannon Claude E. Shannon] als die maximale Transinformation definiert, wobei sich die Maximierung allein auf die Quellenstatistik bezieht:
Die Kanalkapazität $C$ wurde von [https://de.wikipedia.org/wiki/Claude_Shannon Claude E. Shannon] als die maximale Transinformation definiert, wobei sich die Maximierung allein auf die Quellenstatistik bezieht:
:$$ C = \max_{P_X(X)} \hspace{0.15cm} I(X;Y) \hspace{0.05cm}$$
:$$ C = \max_{P_X(X)} \hspace{0.15cm} I(X;Y) \hspace{0.05cm}.$$
Beim Binärkanal mit der Wahrscheinlichkeitsfunktion $P_X(X) = [p_0, p_1]$ ist nur ein Parameter optimierbar, beispielsweise $p_0$. Die Wahrscheinlichkeit für eine $1$ ist damit ebenfalls festgelegt: $p_1 = 1 – p_0.$
Beim Binärkanal mit der Wahrscheinlichkeitsfunktion $P_X(X) = \big [p_0, \ p_1 \big]$ ist nur ein Parameter optimierbar, beispielsweise $p_0$. Die Wahrscheinlichkeit für eine $1$ ist damit ebenfalls festgelegt: $p_1 = 1 - p_0.$
Die obere Grafik (rot hinterlegt) fasst die Ergebnisse für den [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung#Kanalkapazit.C3.A4t_eines_Bin.C3.A4rkanals|unsymmetrischen Binärkanal]] mit $ε_0 = 0.01$ und $ε_1 = 0.2$ zusammen, der auch im Theorieteil betrachtet wurde. Die Maximierung führt zum Ergebnis $p_0 = 0.55$ ⇒ $p_1 = 0.45$, und man erhält für die Kanalkapazität:
Die obere Grafik (rötlich hinterlegt) fasst die Ergebnisse für den [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung#Kanalkapazit.C3.A4t_eines_Bin.C3.A4rkanals|unsymmetrischen Binärkanal]] mit $ε_0 = 0.01$ und $ε_1 = 0.2$ zusammen, der auch im Theorieteil betrachtet wurde.
Die Maximierung führt zum Ergebnis $p_0 = 0.55$ ⇒ $p_1 = 0.45$, und man erhält für die Kanalkapazität:
In der unteren Grafik (blaue Hinterlegung) sind die gleichen informationstheoretischen Größen für den symmetrischen Kanal ⇒ [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#Binary_Symmetric_Channel_.E2.80.93_BSC|Binary Symmetric Channel]] (BSC) mit den Verfälschungswahrscheinlichkeiten $ε1 = ε2 = ε = 0.1$ angegeben, der auch für die [[Aufgaben:3.10_Transinformation_beim_BSC| Aufgabe 3.9]] vorausgesetzt wurde.
In der unteren Grafik (blaue Hinterlegung) sind die gleichen informationstheoretischen Größen für den symmetrischen Kanal ⇒ [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#Binary_Symmetric_Channel_.E2.80.93_BSC|Binary Symmetric Channel]] (BSC) mit den Verfälschungswahrscheinlichkeiten $ε_0 = ε_1 = ε = 0.1$ angegeben, der auch für die [[Aufgaben:3.10_Transinformation_beim_BSC| Aufgabe 3.10]] vorausgesetzt wurde.
In der vorliegenden Aufgabe sollen Sie für das BSC–Kanalmodell $($zunächst für $ε = 0.1)$
:* die Entropien $H(X)$, $H(Y)$, $H(X|Y)$ und $H(Y|X)$ analysieren,
:* den Quellenparameter $p_0$ hinsichtlich maximaler Transinformation $I(X; Y)$ optimieren,
:* somit die Kanalkapazität $C(ε)$ bestimmen, sowie
:* durch Verallgemeinerung eine geschlossene Gleichung für $C(ε)$ angeben.
In der vorliegenden Aufgabe sollen Sie für das BSC–Kanalmodell (zunächst für $ε = 0.1$)
:* die Entropien $H(X)$, $H(Y)$, $H(X|Y)$, $H(Y|X)$ analysieren,
:* den Quellenparameter $p_0$ hinsichtlich maximaler Transinformation $I(X; Y)$ optimieren,
:* somit die Kanalkapazität $C(ε)$ bestimmen, sowie
:* durch Verallgemeinerung eine geschlossene Gleichung für $C(ε)$ angeben.
''Hinweise:''
''Hinweise:''
*Die Aufgabe gehört zum Kapitel [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung|Anwendung auf die Digitalsignalübertragung]].
*Die Aufgabe gehört zum Kapitel [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung|Anwendung auf die Digitalsignalübertragung]].
*Bezug genommen wird insbesondere auf die Seite [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung#Kanalkapazit.C3.A4t_eines_Bin.C3.A4rkanals|Kanalkapazität eines Binärkanals]].
*Bezug genommen wird insbesondere auf die Seite [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung#Kanalkapazit.C3.A4t_eines_Bin.C3.A4rkanals|Kanalkapazität eines Binärkanals]].
*Sollte die Eingabe des Zahlenwertes „0” erforderlich sein, so geben Sie bitte „0.” ein.
Zeile 30:
Zeile 35:
<quiz display=simple>
<quiz display=simple>
{ Welches $P_X(X)$ ist zur Kanalkapazitätsberechnung allgemein anzusetzen?
{ Welche Aussagen gelten für die bedingten Entropien beim BSC–Modell?
|type="[]"}
|type="[]"}
- $P_X(X) = (0.5, 0.5)$
- Die Äquivokation ergibt sich zu $H(X|Y) = H_{\rm bin}(ε)$.
+ $P_X(X) = (1/M, 1/M, ... , 1/M)$
+ Die Irrelevanz ergibt sich zu $H(Y|X) = H_{\rm bin}(ε)$.
- $P_X(X) = (0.1, 0.2, 0.3, 0.4)$
- Die Irrelevanz ergibt sich zu $H(Y|X) = H_{\rm bin}(p_0)$.
{Wie viele Wahrscheinlichkeiten $p_{μκ} = Pr[(X = μ) ∩ (Y = κ)]$ sind $≠ 0$?
{Welche Aussagen gelten für die Kanalkapazität $C_{\rm BSC}$ des BSC–Modells?
|type="[]"}
|type="[]"}
- Genau $M · (M + 1)$
+ Die Kanalkapazität ist gleich der maximalen Transinformation.
- Genau $M$
+ Die Maximierung führt beim BSC zum Ergebnis $p_0 = p_1 = 0.5$.
*Mit $p_0 + p_1 = 1$ und der binären Entropiefunktion ⇒ $H_{\rm bin}$ erhält man das vorgeschlagene Ergebnis: $H(Y \hspace{-0.1cm}\mid \hspace{-0.1cm} X) = H_{\rm bin}(\varepsilon)\hspace{0.05cm}.$
*Für $ε = 0.1$ ergibt sich $H(Y|X) = 0.4690 \ \rm bit$. Der gleiche Wert steht für $p_0=0.50$ in der vorgegebenen Tabelle.
*Aus der Tabelle erkennt man auch, dass beim BSC–Modell (blaue Hinterlegung) wie auch beim allgemeineren (unsymmetrischen) BC–Modell (rote Hinterlegung) die Äquivokation $H(X|Y)$ von den Quellensymbolwahrscheinlichkeiten $p_0$ und $p_1$ abhängen. Daraus folgt, dass der Lösungsvorschlag 1 nicht richtig sein kann.
*Die Irrelevanz $H(Y|X)$ ist unabhängig von der Quellenstatistik, so dass auch der Lösungsvorschlag 3 ausgeschlossen werden kann.
{Berechnen Sie die Verbundentropie allgemein und für$p_0 = 0.4$.
|type="{}"}
$H(XY) \ = \ $ { 1.571 3% } $\ \rm bit$
{Berechnen Sie die Transinformation allgemein und für $p_0 = 0.4$.
|type="{}"}
$I(X; Y) \ = \ $ { 0.281 3% } $\ \rm bit$
{Welche Wahrscheinlichkeit $p_0^{(*)}$ führt zur Kanalkapazität $C$?
|type="{}"}
$p_0^{(*)} \ = \ $ { 0.6 3% }
{Wie groß ist die Kanalkapazität des vorliegenden Kanals?
'''(2)''' Zutreffend sind hier <u>alle vorgegebenen Lösungsalternativen</u>:
|type="{}"}
*Die Kanalkapazität ist definiert als die maximale Transinformation, wobei die Maximierung hinsichtlich $P_X = (p_0, p_1)$ zu erfolgen hat:
*Die Gleichung gilt allgemein, also auch für den rot hinterlegten unsymmetrischen Binärkanal.
*Die Transinformation kann zum Beispiel berechnet werden als $I(X;Y) = H(Y) - H(Y \hspace{-0.1cm}\mid \hspace{-0.1cm} X)\hspace{0.05cm}$, wobei entsprechend der Teilaufgabe '''(1)''' der Term $H(Y \hspace{-0.1cm}\mid \hspace{-0.1cm} X)\hspace{0.05cm}$ unabhängig von $p_0$ bzw. $p_1 = 1- p_0$ ist.
*Die maximale Transinformation ergibt sich somit genau dann, wenn die Sinkenentropie $H(Y)$ maximal ist. Dies ist der Fall für $p_0 = p_1 = 0.5$:
:$$H(X) = H(Y) = 1 \ \rm bit.$$
{Wie groß sind die bedingten Entropien mit $p_0 = p_0^{(*)}$ gemäß Teilaufgabe (5)?
|type="{}"}
$H(X|Y) \ = \ $ { 0.649 3% } $\ \rm bit$
$H(Y|X) \ = \ $ { 0.4 3% } $\ \rm bit$
</quiz>
===Musterlösung===
[[Datei:P_ID2790__Inf_Z_3_9_B.png|frame|Binäre Entropiefunktion und BSC–Kanalkapazität]]
{{ML-Kopf}}
'''(3)''' Entsprechend den Teilaufgaben '''(1)''' und '''(2)''' erhält man für die BSC–Kanalkapazität:
'''1.''' Aus der Tabelle auf der Angabenseite erkennt man, dass beim BSC–Modell (blaue Hinterlegung) wie auch beim allgemeineren (unsymmetrischen) BC–Modell (rote Hinterlegung) die Äquivokation $H(X|Y)$ von den Quellensymbolwahrscheinlichkeiten $p_0$ und $p_1$ abhängt. Daraus folgt, dass der Lösungsvorschlag 1 nicht richtig sein kann. Dagegen ist die Irrelevanz $H(Y|X)$ unabhängig von der Quellenstatistik, so dass auch der Lösungsvorschlag 3 ausgeschlossen werden kann.
Mit $p_0 + p_1 = 1$n und der [http://www.lntwww.de/Informationstheorie/Ged%C3%A4chtnislose_Nachrichtenquellen#Bin.C3.A4re_Entropiefunktion binären Entropiefunktion] $\Rightarrow H_{bin}$ erhält man das vorgeschlagene Ergebnis:
Für $ε = 0.1$ ergibt sich $H(Y|X) = 0.4690 bit$. Der gleiche Wert steht für alle $p_0$ in der gegebenen Tabelle.
'''2.''' Zutreffend sind hier ''alle vorgegebenen Lösungsalternativen''. Die Kanalkapazität ist definiert als die maximale Transinformation, wobei die Maximierung hinsichtlich $P_X = (p_0, p_1)$ zu erfolgen hat:
Diese Gleichung gilt allgemein, also auch für den rot hinterlegten [http://www.lntwww.de/Aufgaben:3.09Z_BSC%E2%80%93Kanalkapazit%C3%A4t unsymmetrischen Binärkanal] (BC).
Die Transinformation kann zum Beispiel allgemein wie folgt berechnet werden:
Der Kanal nimmt hier nur eine Umbenennung vor. Man spricht von Mapping. Aus jeder $„0”$ wird eine $„1”$ und aus jeder $„1”$ eine $„0”$. Entsprechend gilt:
*Der Kanal nimmt hier nur eine Umbenennung vor. Man spricht von „Mapping”.
Die Kanalkapazität $C$ wurde von Claude E. Shannon als die maximale Transinformation definiert, wobei sich die Maximierung allein auf die Quellenstatistik bezieht:
$$ C = \max_{P_X(X)} \hspace{0.15cm} I(X;Y) \hspace{0.05cm}.$$
Beim Binärkanal mit der Wahrscheinlichkeitsfunktion $P_X(X) = \big [p_0, \ p_1 \big]$ ist nur ein Parameter optimierbar, beispielsweise $p_0$. Die Wahrscheinlichkeit für eine $1$ ist damit ebenfalls festgelegt: $p_1 = 1 - p_0.$
Die obere Grafik (rötlich hinterlegt) fasst die Ergebnisse für den unsymmetrischen Binärkanal mit $ε_0 = 0.01$ und $ε_1 = 0.2$ zusammen, der auch im Theorieteil betrachtet wurde.
Die Maximierung führt zum Ergebnis $p_0 = 0.55$ ⇒ $p_1 = 0.45$, und man erhält für die Kanalkapazität:
In der unteren Grafik (blaue Hinterlegung) sind die gleichen informationstheoretischen Größen für den symmetrischen Kanal ⇒ Binary Symmetric Channel (BSC) mit den Verfälschungswahrscheinlichkeiten $ε_0 = ε_1 = ε = 0.1$ angegeben, der auch für die Aufgabe 3.10 vorausgesetzt wurde.
In der vorliegenden Aufgabe sollen Sie für das BSC–Kanalmodell $($zunächst für $ε = 0.1)$
die Entropien $H(X)$, $H(Y)$, $H(X|Y)$ und $H(Y|X)$ analysieren,
den Quellenparameter $p_0$ hinsichtlich maximaler Transinformation $I(X; Y)$ optimieren,
somit die Kanalkapazität $C(ε)$ bestimmen, sowie
durch Verallgemeinerung eine geschlossene Gleichung für $C(ε)$ angeben.
Mit $p_0 + p_1 = 1$ und der binären Entropiefunktion ⇒ $H_{\rm bin}$ erhält man das vorgeschlagene Ergebnis: $H(Y \hspace{-0.1cm}\mid \hspace{-0.1cm} X) = H_{\rm bin}(\varepsilon)\hspace{0.05cm}.$
Für $ε = 0.1$ ergibt sich $H(Y|X) = 0.4690 \ \rm bit$. Der gleiche Wert steht für $p_0=0.50$ in der vorgegebenen Tabelle.
Aus der Tabelle erkennt man auch, dass beim BSC–Modell (blaue Hinterlegung) wie auch beim allgemeineren (unsymmetrischen) BC–Modell (rote Hinterlegung) die Äquivokation $H(X|Y)$ von den Quellensymbolwahrscheinlichkeiten $p_0$ und $p_1$ abhängen. Daraus folgt, dass der Lösungsvorschlag 1 nicht richtig sein kann.
Die Irrelevanz $H(Y|X)$ ist unabhängig von der Quellenstatistik, so dass auch der Lösungsvorschlag 3 ausgeschlossen werden kann.
(2) Zutreffend sind hier alle vorgegebenen Lösungsalternativen:
Die Kanalkapazität ist definiert als die maximale Transinformation, wobei die Maximierung hinsichtlich $P_X = (p_0, p_1)$ zu erfolgen hat:
Die Gleichung gilt allgemein, also auch für den rot hinterlegten unsymmetrischen Binärkanal.
Die Transinformation kann zum Beispiel berechnet werden als $I(X;Y) = H(Y) - H(Y \hspace{-0.1cm}\mid \hspace{-0.1cm} X)\hspace{0.05cm}$, wobei entsprechend der Teilaufgabe (1) der Term $H(Y \hspace{-0.1cm}\mid \hspace{-0.1cm} X)\hspace{0.05cm}$ unabhängig von $p_0$ bzw. $p_1 = 1- p_0$ ist.
Die maximale Transinformation ergibt sich somit genau dann, wenn die Sinkenentropie $H(Y)$ maximal ist. Dies ist der Fall für $p_0 = p_1 = 0.5$:
$$H(X) = H(Y) = 1 \ \rm bit.$$
Binäre Entropiefunktion und BSC–Kanalkapazität
(3) Entsprechend den Teilaufgaben (1) und (2) erhält man für die BSC–Kanalkapazität:
