Informationstheorie/Anwendung auf die Digitalsignalübertragung - Versionsgeschichte

Guenter am 22. Juli 2021 um 14:44 Uhr

2021-07-22T14:44:22Z

Änderungen zeigen

Guenter am 21. Juli 2021 um 16:00 Uhr

2021-07-21T16:00:03Z

Guenter am 21. Juli 2021 um 15:25 Uhr

2021-07-21T15:25:31Z

Änderungen zeigen

Guenter am 21. Juli 2021 um 13:26 Uhr

2021-07-21T13:26:40Z

Guenter am 21. Juli 2021 um 13:19 Uhr

2021-07-21T13:19:36Z

Javier am 6. April 2021 um 07:22 Uhr

2021-04-06T07:22:46Z

Guenter am 20. Februar 2020 um 12:56 Uhr

2020-02-20T12:56:37Z

Guenter am 3. Februar 2020 um 09:00 Uhr

2020-02-03T09:00:11Z

Änderungen zeigen

Guenter am 1. Februar 2020 um 16:43 Uhr

2020-02-01T16:43:30Z

Änderungen zeigen

Guenter am 1. Februar 2020 um 15:52 Uhr

2020-02-01T15:52:30Z

Änderungen zeigen

@@ Zeile 230: / Zeile 230: @@
 *Zu jedem Übertragungskanal mit der Kanalkapazität&nbsp; $C > 0$&nbsp; existiert (mindestens) ein&nbsp; $(k, n)$–Blockcode,&nbsp; dessen (Block–)Fehlerwahrscheinlichkeit gegen Null geht,&nbsp; so lange die Coderate&nbsp; $R = k/n$&nbsp; kleiner oder gleich der Kanalkapazität ist: &nbsp;
 :$$R ≤ C.$$
-* Voraussetzung hierfür ist allerdings,&nbsp; dass für die Blocklänge dieses Codes gilt: &nbsp;
+* Voraussetzung hierfür ist allerdings,&nbsp; dass für die Blocklänge dieses Codes gilt: &nbsp; $n → ∞.$}}
-Den Beweis dieses Theorems,&nbsp; der den Rahmen unseres Lerntutorials sprengen würde,&nbsp; finden Sie zum Beispiel in&nbsp; [CT06]<ref name="CT06">Cover, T.M.; Thomas, J.A.: ''Elements of Information Theory''. West Sussex: John Wiley & Sons, 2nd Edition, 2006.</ref>,&nbsp;  [Kra13]<ref name="Kra13">Kramer, G.: ''Information Theory''. Vorlesungsmanuskript, Lehrstuhl für Nachrichtentechnik, Technische Universität München, 2013.</ref>&nbsp; und&nbsp; [Meck09]<ref name="Meck09">Mecking, M.: ''Information Theory''. Vorlesungsmanuskript, Lehrstuhl für Nachrichtentechnik, Technische Universität München, 2009.</ref>.
+Den Beweis dieses Theorems,&nbsp; der den Rahmen unseres Lerntutorials sprengen würde,&nbsp; finden Sie zum Beispiel in&nbsp; [CT06]<ref name="CT06">Cover, T.M.; Thomas, J.A.:&nbsp; Elements of Information Theory.&nbsp; West Sussex: John Wiley & Sons, 2nd Edition, 2006.</ref>,&nbsp;  [Kra13]<ref name="Kra13">Kramer, G.:&nbsp; Information Theory.&nbsp; Vorlesungsmanuskript, Lehrstuhl für Nachrichtentechnik, Technische Universität München, 2013.</ref>&nbsp; und&nbsp; [Meck09]<ref name="Meck09">Mecking, M.: ''Information Theory''. Vorlesungsmanuskript, Lehrstuhl für Nachrichtentechnik, Technische Universität München, 2009.</ref>.
 Wie in der&nbsp; [[Aufgaben:3.12_Coderate_und_Zuverlässigkeit|Aufgabe 3.13]]&nbsp; gezeigt werden soll,&nbsp; gilt auch der Umkehrschluss.&nbsp; Auch diesen Beweis finden Sie in den eben genannten Literaturstellen.

@@ Zeile 122: / Zeile 122: @@
 [[Datei:P_ID2782__Inf_T_3_3_S3a.png|right|frame|Allgemeines Modell des Binärkanals]]
 {{GraueBox|TEXT=
-$\text{Beispiel 2}$:&nbsp; Wir betrachten den allgemeinen Binärkanal&nbsp; (englisch: ''Binary Channel''&nbsp;) ohne Gedächtnis gemäß der Skizze.&nbsp; Die Verfälschungswahrscheinlichkeiten seien:
+$\text{Beispiel 2}$:&nbsp; Wir betrachten den allgemeinen Binärkanal&nbsp; (englisch:&nbsp; "Binary Channel")&nbsp; ohne Gedächtnis gemäß der Skizze.&nbsp; Die Verfälschungswahrscheinlichkeiten seien:
 :$$\begin{align*}\varepsilon_0  & =  {\rm Pr}(Y\hspace{-0.1cm} = 1\hspace{0.05cm}\vert X \hspace{-0.1cm}= 0) = 0.01\hspace{0.05cm},\\
@@ Zeile 139: / Zeile 139: @@
 Außerdem gehen wir von nicht gleichwahrscheinlichen Quellensymbolen aus:
-:$$P_X(X) = \big ( p_0, p_1 \big )=
+:$$P_X(X) = \big ( p_0,\ p_1 \big )=
 \big ( 0.1,\ 0.9 \big )
 \hspace{0.05cm}.$$
@@ Zeile 158: / Zeile 158: @@
 :$$\begin{align*}\Rightarrow \hspace{0.3cm}  {\rm Pr}( Y \hspace{-0.1cm}= 0)& =
 p_0 \cdot (1 - \varepsilon_0) + p_1 \cdot \varepsilon_1 =
 .1 \cdot 0.99 + 0.9 \cdot 0.2 = 0.279\hspace{0.05cm},\\
 {\rm Pr}( Y \hspace{-0.1cm}= 1) & =  1 - {\rm Pr}( Y \hspace{-0.1cm}= 0) = 0.721\end{align*}$$
@@ Zeile 171: / Zeile 171: @@
 Daraus erhält man für
-*die&nbsp; '''Verbundentropie'''&nbsp; (englisch&nbsp; ''Joint Entropy''):
+*die&nbsp; '''Verbundentropie'''&nbsp; (englisch:&nbsp; "Joint Entropy"):
 :$$H(XY) =  p_{00}\hspace{-0.05cm} \cdot \hspace{-0.05cm}{\rm log}_2 \hspace{0.05cm} \frac{1}{p_{00} \rm } +
@@ Zeile 178: / Zeile 178: @@
 p_{11} \hspace{-0.05cm} \cdot \hspace{-0.05cm} {\rm log}_2\hspace{0.05cm} \frac{1}{p_{11}\rm } = 1.1268\,{\rm bit} \hspace{0.05cm},$$
-*die&nbsp; '''Transinformation'''&nbsp; (englisch&nbsp; ''Mutual Information''):
+*die&nbsp; '''Transinformation'''&nbsp; (englisch:&nbsp; "Mutual Information"):
 :$$I(X;Y) = H(X) + H(Y) - H(XY)  = 0.4690 + 0.8541 - 1.1268 = 0.1963\,{\rm bit}

@@ Zeile 8: / Zeile 8: @@
 ==Informationstheoretisches Modell der Digitalsignalübertragung ==
 <br>
-Die bisher allgemein definierten Entropien werden nun auf die Digitalsignalübertragung angewendet, wobei wir von einem&nbsp; '''digitalen Kanalmodell ohne Gedächtnis'''&nbsp; (englisch:&nbsp; ''Discrete Memoryless Channel'', DMC)&nbsp; entsprechend der  Grafik ausgehen:
+Die bisher allgemein definierten Entropien werden nun auf die Digitalsignalübertragung angewendet, wobei wir von einem&nbsp; '''digitalen Kanalmodell ohne Gedächtnis'''&nbsp; (englisch:&nbsp; "Discrete Memoryless Channel", DMC)&nbsp; entsprechend der  Grafik ausgehen:
-[[Datei:P_ID2779__Inf_T_3_3_S1a_neu.png|center|frame|Betrachtetes Modell der Digitalsignalübertragung]]
+[[Datei:P_ID2779__Inf_T_3_3_S1a_neu.png|right|frame|Betrachtetes Modell der Digitalsignalübertragung]]
-*Die Menge der möglichen Quellensymbole wird durch die diskrete Zufallsgröße&nbsp; $X$&nbsp; charakterisiert, wobei&nbsp; $|X|$&nbsp; den Quellensymbolumfang angibt:
+*Die Menge der Quellensymbole wird durch die diskrete Zufallsgröße&nbsp; $X$&nbsp; charakterisiert, wobei&nbsp; $|X|$&nbsp; den Quellensymbolumfang angibt:
 :$$X = \{\hspace{0.05cm}x_1\hspace{0.05cm}, \hspace{0.15cm} x_2\hspace{0.05cm},\hspace{0.15cm} \text{...}\hspace{0.1cm} ,\hspace{0.15cm} x_{\mu}\hspace{0.05cm}, \hspace{0.15cm}\text{...}\hspace{0.1cm} , \hspace{0.15cm} x_{|X|}\hspace{0.05cm}\}\hspace{0.05cm}.$$
@@ Zeile 20: / Zeile 20: @@
 :$$Y = \{\hspace{0.05cm}y_1\hspace{0.05cm}, \hspace{0.15cm} y_2\hspace{0.05cm},\hspace{0.15cm} \text{...}\hspace{0.1cm} ,\hspace{0.15cm} y_{\kappa}\hspace{0.05cm}, \hspace{0.15cm}\text{...}\hspace{0.1cm} , \hspace{0.15cm} Y_{|Y|}\hspace{0.05cm}\}\hspace{0.05cm}.$$
-*Meist gilt&nbsp; $|Y| = |X|$.&nbsp; Möglich ist auch&nbsp; $|Y| > |X|$, zum Beispiel beim&nbsp; [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#Binary_Symmetric_Channel_.E2.80.93_BSC|Binary Erasure Channel]]&nbsp; (BEC) mit&nbsp; $X = \{0,\ 1\}$,&nbsp; $Y = \{0,\ 1,\ \ \text{E}\}$  &nbsp; ⇒  &nbsp; $|X| = 2$,&nbsp; $|Y| = 3$.
+*Meist gilt&nbsp; $|Y| = |X|$.&nbsp; Möglich ist auch&nbsp; $|Y| > |X|$,&nbsp; zum Beispiel beim&nbsp; [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#Binary_Symmetric_Channel_.E2.80.93_BSC|Binary Erasure Channel]]&nbsp; (BEC) mit&nbsp;
-*Das Sinkensymbol&nbsp; $\rm E$&nbsp; kennzeichnet eine Auslöschung&nbsp; (englisch:&nbsp; ''Erasure'').&nbsp; Das Ereignis&nbsp; $Y=\text{E}$&nbsp; gibt an, dass eine Entscheidung für&nbsp; $0$&nbsp; oder für&nbsp; $1$&nbsp; zu unsicher wäre.
+:$$X = \{0,\ 1\},\hspace{0.5cm} Y = \{0,\ 1,\ \ \text{E}\}\    ⇒  \ |X| = 2, \ |Y| = 3.$$
 *Die Symbolwahrscheinlichkeiten der Quelle und der Sinke sind in der Grafik durch die Wahrscheinlichkeitsfunktionen&nbsp; $P_X(X)$&nbsp; und&nbsp; $P_Y(Y)$&nbsp; berücksichtigt, wobei gilt:
 :$$P_X(x_{\mu}) = {\rm Pr}( X = x_{\mu})\hspace{0.05cm}, \hspace{0.3cm}
 P_Y(y_{\kappa}) = {\rm Pr}( Y = y_{\kappa})\hspace{0.05cm}.$$
-*Es gelte: &nbsp; $P_X(X)$&nbsp; und&nbsp; $P_Y(Y)$&nbsp; enthalten keine Nullen &nbsp; ⇒ &nbsp; $\text{supp}(P_X) = P_X$ &nbsp;und&nbsp; $\text{supp}(P_Y) = P_Y$. <br>Diese Voraussetzung erleichtert ohne Verlust der Allgemeingültigkeit die Modellbeschreibung.
+*Es gelte: &nbsp; $P_X(X)$&nbsp; und&nbsp; $P_Y(Y)$&nbsp; enthalten keine Nullen &nbsp; ⇒ &nbsp; $\text{supp}(P_X) = P_X$ &nbsp;und&nbsp; $\text{supp}(P_Y) = P_Y$.&nbsp; Diese Voraussetzung erleichtert ohne Verlust der Allgemeingültigkeit die Modellbeschreibung.
-*Alle Übergangswahrscheinlichkeiten des digitalen gedächtnislosen Kanals&nbsp; $\rm (DMC)$&nbsp; werden durch die&nbsp; ''bedingte Wahrscheinlichkeitsfunktion''&nbsp; $P_{Y|X}(Y|X)$&nbsp; erfasst. <br>Mit&nbsp; $x_μ ∈ X$&nbsp; und&nbsp; $y_κ ∈ Y$&nbsp; gelte hierfür folgende Definition:
+<br>
 :$$P_{Y\hspace{0.01cm}|\hspace{0.01cm}X}(y_{\kappa}\hspace{0.01cm} |\hspace{0.01cm} x_{\mu}) = {\rm Pr}(Y\hspace{-0.1cm} = y_{\kappa}\hspace{0.03cm} | \hspace{0.03cm}X \hspace{-0.1cm}= x_{\mu})\hspace{0.05cm}.$$
-Der grüne Block in der Grafik kennzeichnet&nbsp; $P_{Y|X}(⋅)$&nbsp; mit&nbsp; $|X|$&nbsp; Eingängen und&nbsp; $|Y|$&nbsp; Ausgängen.&nbsp; Blaue Verbindungen markieren  Übergangswahrscheinlichkeiten&nbsp; $\text{Pr}(y_i | x_μ)$&nbsp; ausgehend von&nbsp; $x_μ$&nbsp; mit&nbsp; $1 ≤ i ≤ |Y|$, während alle roten Verbindungen bei&nbsp; $y_κ$ enden:&nbsp; &nbsp; $\text{Pr}(y_κ | x_i)$&nbsp; mit&nbsp; $1 ≤ i ≤ |X|$.
+*Der grüne Block in der Grafik kennzeichnet&nbsp; $P_{Y|X}(⋅)$&nbsp; mit&nbsp; $|X|$&nbsp; Eingängen und&nbsp; $|Y|$&nbsp; Ausgängen.&nbsp; Blaue Verbindungen markieren  Übergangswahrscheinlichkeiten&nbsp; $\text{Pr}(y_i | x_μ)$&nbsp; ausgehend von&nbsp; $x_μ$&nbsp; mit&nbsp; $1 ≤ i ≤ |Y|$,&nbsp; während alle roten Verbindungen bei&nbsp; $y_κ$ enden:&nbsp; &nbsp; $\text{Pr}(y_κ | x_i)$&nbsp; mit&nbsp; $1 ≤ i ≤ |X|$.
-Bevor wir die Entropien für die einzelnen Wahrscheinlichkeitsfunktionen angeben, nämlich
+Bevor wir die Entropien für die einzelnen Wahrscheinlichkeitsfunktionen angeben,&nbsp; nämlich
 :$$P_X(X) ⇒ H(X),\hspace{0.5cm}  P_Y(Y) ⇒ H(Y), \hspace{0.5cm} P_{XY}(X) ⇒ H(XY), \hspace{0.5cm} P_{Y|X}(Y|X) ⇒ H(Y|X),\hspace{0.5cm} P_{X|Y}(X|Y) ⇒ H(X|Y),$$
 sollen die obigen Aussagen an einem Beispiel verdeutlicht werden.
-[[Datei:P_ID2780__Inf_T_3_3_S1b_neu.png|right|frame|Digitales Kanalmodell <i>Binary Erasure Channel</i>]]
+[[Datei:P_ID2780__Inf_T_3_3_S1b_neu.png|right|frame|Digitales Kanalmodell&nbsp; &bdquo;Binary Erasure Channel&rdquo;]]
 {{GraueBox|TEXT=
-$\text{Beispiel 1}$:&nbsp; Im Buch &bdquo;Kanalcodierung&rdquo; behandeln wir auch den&nbsp; [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#Binary_Erasure_Channel_.E2.80.93_BEC|Binary Erasure Channel]]&nbsp; $\rm (BEC)$, der rechts in etwas modifizierter Form skizziert ist.&nbsp; Dabei gelten folgende Voraussetzungen:
+$\text{Beispiel 1}$:&nbsp; Im Buch&nbsp; &bdquo;Kanalcodierung&rdquo;&nbsp; behandeln wir auch den&nbsp; [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#Binary_Erasure_Channel_.E2.80.93_BEC|Binary Erasure Channel]]&nbsp; $\rm (BEC)$, der rechts in etwas modifizierter Form skizziert ist.&nbsp; Dabei gelten folgende Voraussetzungen:
 *Das Eingangsalphabet sei binär &nbsp; &rArr; &nbsp; $X = \{0,\ 1 \}$  &nbsp; ⇒  &nbsp; $\vert X\vert = 2$, während am Ausgang drei Werte möglich sind &nbsp; &rArr; &nbsp; $Y = \{0,\ 1,\ \text{E} \}$  &nbsp; ⇒  &nbsp; $\vert Y\vert = 3$.
-*Das Symbol&nbsp; $\text{E}$&nbsp; kennzeichnet den Fall, dass sich der Empfänger aufgrund von zu großen Kanalstörungen nicht für eines der Binärsymbole&nbsp; $0$&nbsp; oder&nbsp; $1$&nbsp; entscheiden kann.&nbsp; „E” steht hierbei für&nbsp; ''Erasure''&nbsp; (Auslöschung).
+*$\text{E}$&nbsp; kennzeichnet den Fall, dass sich der Empfänger aufgrund sehr großer Kanalstörungen nicht für eines der Binärsymbole&nbsp; $0$&nbsp; oder&nbsp; $1$&nbsp; entscheiden kann.&nbsp; "E"&nbsp; steht hierbei für&nbsp; "Erasure"&nbsp; (Auslöschung).
-*Beim&nbsp; $\rm BEC$&nbsp; gemäß obiger Skizze werden sowohl eine gesendete&nbsp; $0$&nbsp; als auch eine&nbsp; $1$&nbsp; mit der Wahrscheinlichkeit&nbsp; $λ$&nbsp; ausgelöscht, während die Wahrscheinlichkeit einer richtigen Übertragung jeweils&nbsp; $1 – λ$&nbsp; beträgt.
+*Beim&nbsp; $\rm BEC$&nbsp; werden sowohl eine gesendete&nbsp; $0$&nbsp; als auch eine&nbsp; $1$&nbsp; mit der Wahrscheinlichkeit&nbsp; $λ$&nbsp; ausgelöscht, während die Wahrscheinlichkeit einer richtigen Übertragung jeweils&nbsp; $1 – λ$&nbsp; beträgt.
-*Dagegen werden Übertragungsfehler durch das BEC–Modell ausgeschlossen  &nbsp; <br>⇒  &nbsp; die bedingten Wahrscheinlichkeiten &nbsp;$\text{Pr}(Y = 1 \vert X = 0)$ &nbsp;sowie&nbsp; $\text{Pr}(Y = 0 \vert X = 1)$ &nbsp;sind jeweils Null.
+*Dagegen werden Übertragungsfehler&nbsp; (Symbolverfälschungen)&nbsp; durch das BEC–Modell ausgeschlossen  &nbsp; <br>⇒  &nbsp; die bedingten Wahrscheinlichkeiten &nbsp;$\text{Pr}(Y = 1 \vert X = 0)$ &nbsp;sowie&nbsp; $\text{Pr}(Y = 0 \vert X = 1)$ &nbsp;sind jeweils Null.
@@ Zeile 81: / Zeile 85: @@
 Interpretieren wir nun ausgehend vom allgemeinen&nbsp; [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung#Informationstheoretisches_Modell_der_Digitalsignal.C3.BCbertragung|DMC–Kanalmodell]]&nbsp; die rechte Grafik:
-*Die&nbsp; '''Quellenentropie'''&nbsp; (englisch:&nbsp; ''Source Entropy''&nbsp;)&nbsp; $H(X)$&nbsp; bezeichnet den mittleren Informationsgehalt der Quellensymbolfolge.&nbsp; Mit dem Symbolumfang&nbsp; $|X|$&nbsp; gilt:
+*Die&nbsp; '''Quellenentropie'''&nbsp; (englisch:&nbsp; "Source Entropy"&nbsp;)&nbsp; $H(X)$&nbsp; bezeichnet den mittleren Informationsgehalt der Quellensymbolfolge.&nbsp; Mit dem Symbolumfang&nbsp; $|X|$&nbsp; gilt:
 :$$H(X) = {\rm E} \left [ {\rm log}_2 \hspace{0.1cm} \frac{1}{P_X(X)}\right ] \hspace{0.1cm}
@@ Zeile 88: / Zeile 92: @@
   P_X(x_{\mu}) \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{P_X(x_{\mu})} \hspace{0.05cm}.$$
-*Die&nbsp; '''Äquivokation'''&nbsp; (auch&nbsp; ''Rückschlussentropie'' genannt, englisch:&nbsp; ''Equivocation''&nbsp;)&nbsp; $H(X|Y)$&nbsp; gibt den mittleren Informationsgehalt an, den ein Betrachter, der über die Sinke&nbsp; $Y$&nbsp; genau Bescheid weiß, durch Beobachtung der Quelle&nbsp; $X$&nbsp; gewinnt:
+*Die&nbsp; '''Äquivokation'''&nbsp; (auch&nbsp; &bdquo;Rückschlussentropie&rdquo; genannt,&nbsp; englisch:&nbsp; "Equivocation"&nbsp;)&nbsp; $H(X|Y)$&nbsp; gibt den mittleren Informationsgehalt an, den ein Betrachter, der über die Sinke&nbsp; $Y$&nbsp; genau Bescheid weiß, durch Beobachtung der Quelle&nbsp; $X$&nbsp; gewinnt:
 :$$H(X|Y) = {\rm E} \left [ {\rm log}_2 \hspace{0.1cm} \frac{1}{P_{\hspace{0.05cm}X\hspace{-0.01cm}|\hspace{-0.01cm}Y}(X\hspace{-0.01cm} |\hspace{0.03cm} Y)}\right ] \hspace{0.2cm}=\hspace{0.2cm} \sum_{\mu = 1}^{|X|} \sum_{\kappa = 1}^{|Y|}
@@ Zeile 95: / Zeile 99: @@
   \hspace{0.05cm}.$$
-*Die Äquivokation ist der Anteil der Quellenentropie&nbsp; $H(X)$, der durch Kanalstörungen&nbsp; (bei digitalem Kanal:&nbsp; Übertragungsfehler)&nbsp; verloren geht.&nbsp; Es verbleibt die&nbsp; '''Transinformation'''&nbsp; (englisch:&nbsp; ''Mutual Information'')&nbsp; $I(X; Y)$, die zur Sinke gelangt:
+*Die Äquivokation ist der Anteil der Quellenentropie&nbsp; $H(X)$, der durch Kanalstörungen&nbsp; (bei digitalem Kanal:&nbsp; Übertragungsfehler)&nbsp; verloren geht.&nbsp; Es verbleibt die&nbsp; '''Transinformation'''&nbsp; (englisch:&nbsp; "Mutual Information")&nbsp; $I(X; Y)$, die zur Sinke gelangt:
 :$$I(X;Y) = {\rm E} \left [ {\rm log}_2 \hspace{0.1cm} \frac{P_{XY}(X, Y)}{P_X(X) \cdot P_Y(Y)}\right ] \hspace{0.2cm} = H(X) - H(X|Y) \hspace{0.05cm}.$$
-*Die&nbsp; '''Irrelevanz'''&nbsp; (manchmal auch&nbsp; ''Streuentropie''&nbsp; genannt, englisch:&nbsp; ''Irrelevance'')&nbsp; $H(Y|X)$&nbsp; gibt den mittleren Informationsgehalt an, den ein Betrachter, der über die Quelle&nbsp; $X$&nbsp; genau Bescheid weiß, durch Beobachtung der Sinke&nbsp; $Y$&nbsp; gewinnt:
+*Die&nbsp; '''Irrelevanz'''&nbsp; (manchmal auch&nbsp; &bdquo;Streuentropie&rdquo;&nbsp; genannt,&nbsp; englisch:&nbsp; "Irrelevance")&nbsp; $H(Y|X)$&nbsp; gibt den mittleren Informationsgehalt an, den ein Betrachter, der über die Quelle&nbsp; $X$&nbsp; genau Bescheid weiß, durch Beobachtung der Sinke&nbsp; $Y$&nbsp; gewinnt:
 :$$H(Y|X) = {\rm E} \left [ {\rm log}_2 \hspace{0.1cm} \frac{1}{P_{\hspace{0.05cm}Y\hspace{-0.01cm}|\hspace{-0.01cm}X}(Y\hspace{-0.01cm} |\hspace{0.03cm} X)}\right ] \hspace{0.2cm}=\hspace{0.2cm} \sum_{\mu = 1}^{|X|} \sum_{\kappa = 1}^{|Y|}
@@ Zeile 106: / Zeile 110: @@
   \hspace{0.05cm}.$$
-*Die&nbsp; '''Sinkenentropie'''&nbsp; $H(Y)$, der mittlere Informationsgehalt der Sinke, ist die Summe aus der nützlichen Transinformation&nbsp; $I(X; Y)$&nbsp; und der Irrelevanz&nbsp; $H(Y|X)$, die ausschließlich von Kanalfehlern herrührt:
+*Die&nbsp; '''Sinkenentropie'''&nbsp; $H(Y)$&nbsp; ist der mittlere Informationsgehalt der Sinke.&nbsp; Diese ergibt sich aus der Summe aus der nützlichen Transinformation&nbsp; $I(X; Y)$&nbsp; und der unnützen Irrelevanz&nbsp; $H(Y|X)$, die ausschließlich von Kanalfehlern herrührt:
 :$$H(Y) = {\rm E} \left [ {\rm log}_2 \hspace{0.1cm} \frac{1}{P_Y(Y)}\right ] \hspace{0.1cm}

← Nächstältere Version		Version vom 6. April 2021, 07:22 Uhr
Zeile 237:		Zeile 237:
	$\text{Umkehrschluss von Shannons Kanalcodierungstheorem:}$		$\text{Umkehrschluss von Shannons Kanalcodierungstheorem:}$

−	Ist die Rate  $R$  des verwendeten  $(n$, $k)$–Blockcodes größer als die Kanalkapazität  $C$,  so ist niemals eine beliebig kleine Blockfehlerwahrscheinlichkeit ~~nicht~~ erreichbar.}}	+	Ist die Rate  $R$  des verwendeten  $(n$, $k)$–Blockcodes größer als die Kanalkapazität  $C$,  so ist niemals eine beliebig kleine Blockfehlerwahrscheinlichkeit erreichbar.}}

@@ Zeile 59: / Zeile 59: @@
 Fassen wir nun&nbsp; $P_X(X)$&nbsp; und&nbsp; $P_Y(Y)$&nbsp; als Vektoren auf, so lässt sich das Ergebnis wie folgt darstellen:
-$$P_{\hspace{0.05cm}Y}(Y) = P_X(X) \cdot P_{\hspace{0.05cm}Y\hspace{-0.01cm}\vert \hspace{-0.01cm}X}(Y\hspace{-0.01cm} \vert \hspace{-0.01cm} X) \hspace{0.05cm},$$
+:$$P_{\hspace{0.05cm}Y}(Y) = P_X(X) \cdot P_{\hspace{0.05cm}Y\hspace{-0.01cm}\vert \hspace{-0.01cm}X}(Y\hspace{-0.01cm} \vert \hspace{-0.01cm} X) \hspace{0.05cm},$$
 wobei die Übergangswahrscheinlichkeiten &nbsp;$\text{Pr}(y_κ\vert x_μ)$&nbsp; durch folgende Matrix berücksichtigt sind: