Aufgaben:Aufgabe 3.13: Coderate und Zuverlässigkeit - Versionsgeschichte

Maintenance script: Add English interlanguage link

2026-03-16T12:36:08Z

Add English interlanguage link

← Nächstältere Version		Version vom 16. März 2026, 14:36 Uhr
Zeile 116:		Zeile 116:

	[[Category:Aufgaben zu Informationstheorie\|^3.3 Anwendung auf DSÜ-Kanäle^]]		[[Category:Aufgaben zu Informationstheorie\|^3.3 Anwendung auf DSÜ-Kanäle^]]
			[[en:Aufgaben:Exercise_3.13:_Code_Rate_and_Reliability]]

Maintenance script: Join multi-line formulas for MW 1.43 parser compat

2026-02-24T13:39:07Z

Join multi-line formulas for MW 1.43 parser compat

← Nächstältere Version		Version vom 24. Februar 2026, 15:39 Uhr
Zeile 73:		Zeile 73:

	'''(2)'''  Durch Umstellung obiger Gleichung erhält man mit  $H_{\rm bin}(p_{\rm B})$  aus der Grafik:		'''(2)'''  Durch Umstellung obiger Gleichung erhält man mit  $H_{\rm bin}(p_{\rm B})$  aus der Grafik:
	:$$\begin{align*} R_{\rm max} = \frac{C}{1 - H_{\rm bin}( p_{\rm B})} \hspace{0.3cm}\Rightarrow \hspace{0.3cm} p_{\rm B} &= 0.10:\hspace{0.2cm} R_{\rm max} = \frac{0.5}{1 - 0.469}\hspace{0.15cm} \underline {=0.942} \hspace{0.05cm},\\		:$$\begin{align} R_{\rm max} = \frac{C}{1 - H_{\rm bin}( p_{\rm B})} \hspace{0.3cm}\Rightarrow \hspace{0.3cm} p_{\rm B} &= 0.10:\hspace{0.2cm} R_{\rm max} = \frac{0.5}{1 - 0.469}\hspace{0.15cm} \underline {=0.942} \hspace{0.05cm},\\\Rightarrow \hspace{0.3cm} p_{\rm B} &= 0.05:\hspace{0.2cm} R_{\rm max} = \frac{0.5}{1 - 0.286}\hspace{0.15cm} \underline {=0.700}\hspace{0.05cm}.\end{align}$$
	\Rightarrow \hspace{0.3cm} p_{\rm B} &= 0.05:\hspace{0.2cm} R_{\rm max} = \frac{0.5}{1 - 0.286}\hspace{0.15cm} \underline {=0.700}\hspace{0.05cm}.\end{align*}$$

Guenter am 22. September 2021 um 15:04 Uhr

2021-09-22T15:04:26Z

← Nächstältere Version		Version vom 22. September 2021, 17:04 Uhr
Zeile 30:		Zeile 30:
	*Die Aufgabe gehört zum Kapitel  [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung\|Anwendung auf die Digitalsignalübertragung]].		*Die Aufgabe gehört zum Kapitel  [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung\|Anwendung auf die Digitalsignalübertragung]].
	*Bezug genommen wird insbesondere auf die Seite  [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung#Rate.2C_Kanalkapazit.C3.A4t_und_Bitfehlerwahrscheinlichkeit\|Rate, Kanalkapazität und Bitfehlerwahrscheinlichkeit]].		*Bezug genommen wird insbesondere auf die Seite  [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung#Rate.2C_Kanalkapazit.C3.A4t_und_Bitfehlerwahrscheinlichkeit\|Rate, Kanalkapazität und Bitfehlerwahrscheinlichkeit]].
	*Die Werte der binären Entropiefunktion werden zum Beispiel durch das interaktice Applet  [[Applets:Entropien_von_Nachrichtenquellen\|Entropie von Nachrichtenquellen]]  bereitgestellt.		*Die Werte der binären Entropiefunktion werden zum Beispiel durch das interaktice SWF–Applet  [[Applets:Entropien_von_Nachrichtenquellen\|Entropie von Nachrichtenquellen]]  bereitgestellt.

Guenter am 22. September 2021 um 15:02 Uhr

2021-09-22T15:02:29Z

← Nächstältere Version		Version vom 22. September 2021, 17:02 Uhr
Zeile 30:		Zeile 30:
	*Die Aufgabe gehört zum Kapitel  [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung\|Anwendung auf die Digitalsignalübertragung]].		*Die Aufgabe gehört zum Kapitel  [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung\|Anwendung auf die Digitalsignalübertragung]].
	*Bezug genommen wird insbesondere auf die Seite  [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung#Rate.2C_Kanalkapazit.C3.A4t_und_Bitfehlerwahrscheinlichkeit\|Rate, Kanalkapazität und Bitfehlerwahrscheinlichkeit]].		*Bezug genommen wird insbesondere auf die Seite  [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung#Rate.2C_Kanalkapazit.C3.A4t_und_Bitfehlerwahrscheinlichkeit\|Rate, Kanalkapazität und Bitfehlerwahrscheinlichkeit]].
	*Die Werte der binären Entropiefunktion werden zum Beispiel durch das interaktice Applet  [[Applets:~~Entropie_und_Näherungen_binärer_Nachrichtenquellen~~\|Entropie ~~und Näherungen binärer~~ Nachrichtenquellen]]  bereitgestellt.		*Die Werte der binären Entropiefunktion werden zum Beispiel durch das interaktice Applet  [[Applets:Entropien_von_Nachrichtenquellen\|Entropie von Nachrichtenquellen]]  bereitgestellt.

Guenter am 22. September 2021 um 14:34 Uhr

2021-09-22T14:34:43Z

← Nächstältere Version		Version vom 22. September 2021, 16:34 Uhr
Zeile 51:		Zeile 51:
	\|type="[]"}		\|type="[]"}
	- Es gilt   $H_{\rm bin}(p) < p · \log_2 \, (1/p)$.		- Es gilt   $H_{\rm bin}(p) < p · \log_2 \, (1/p)$.
	+ Es gilt  $H_{\rm bin}(p) = p · \log_2 \, (1/p)$.		+ Es gilt  $H_{\rm bin}(p) > p · \log_2 \, (1/p)$.
	+ $H_{\rm bin}(p) - p · \log_2 \, (1/p)$  wird um so kleiner, je kleiner  $p$  ist.		+ $H_{\rm bin}(p) - p · \log_2 \, (1/p)$  wird um so kleiner, je kleiner  $p$  ist.

Zeile 108:		Zeile 108:
	* der ersten Schranke  $(R/C-1)$  und		* der ersten Schranke  $(R/C-1)$  und
	* der letzten Näherung  $(R'''/C-1)$.		* der letzten Näherung  $(R'''/C-1)$.


	Man erkennt die gute Übereinstimmung beider Angaben.		Man erkennt die gute Übereinstimmung beider Angaben.

Guenter am 22. September 2021 um 14:19 Uhr

2021-09-22T14:19:58Z

← Nächstältere Version		Version vom 22. September 2021, 16:19 Uhr
Zeile 4:		Zeile 4:

	[[Datei:P_ID2805__Inf_A_3_12.png\|right\|frame\|Binäre Entropiefunktion]]		[[Datei:P_ID2805__Inf_A_3_12.png\|right\|frame\|Binäre Entropiefunktion]]
	Das Kanalcodierungstheorem von  [https://de.wikipedia.org/wiki/Claude_Shannon Claude E. Shannon]  besagt unter anderem, dass über einen Kanal mit beliebig kleiner Blockfehlerwahrscheinlichkeit übertragen werden kann, so lange die Coderate  $R$  nicht größer ist als die Kanalkapazität  $C$.  Dieses Ergebnis erreicht man mit  ''Kanalcodierung''  (englisch:  ''Channel Coding'')  allerdings nur bei sehr großen Blocklängen:  $n → ∞$, was mit einem beliebig großen Aufwand verbunden ist.		Das Kanalcodierungstheorem von  [https://de.wikipedia.org/wiki/Claude_Shannon Claude E. Shannon]  besagt unter anderem, dass über einen Kanal mit beliebig kleiner Blockfehlerwahrscheinlichkeit übertragen werden kann,  so lange die Coderate  $R$  nicht größer ist als die Kanalkapazität  $C$.  Dieses Ergebnis erreicht man mit  '''Kanalcodierung'''  (englisch:  "Channel Coding")  allerdings nur bei sehr großen Blocklängen:  $n → ∞$,  was mit einem beliebig großen Aufwand verbunden ist.

	Diese Aussage basiert auf informationstheoretischen Gesetzmäßigkeiten, die Shannon selbst aufgestellt hat.  Shannon sagt aber nicht, wie diese „unendlich gute” Kanalcodierung aussehen muss, er beweist nur, dass es sie gibt.		Diese Aussage basiert auf informationstheoretischen Gesetzmäßigkeiten, die Shannon selbst aufgestellt hat.  Shannon sagt aber nicht, wie diese „unendlich gute” Kanalcodierung aussehen muss, er beweist nur, dass es sie gibt.
Zeile 12:		Zeile 12:
	Vielmehr lassen sich für den Fall  $R > C$  zwei Schranken angeben:		Vielmehr lassen sich für den Fall  $R > C$  zwei Schranken angeben:

	* Überträgt man über einen  ''diskreten gedächtnislosen Kanal''  $\rm (DMC)$  mit einer Rate  $R$  größer als die Kanalkapazität  $C$, so gibt es eine untere Schranke für die Bitfehlerwahrscheinlichkeit:		* Überträgt man über einen  "diskreten gedächtnislosen Kanal"  $\rm (DMC)$  mit einer Rate  $R$  größer als die Kanalkapazität  $C$, so gibt es eine untere Schranke für die Bitfehlerwahrscheinlichkeit:
	:$$ p_{\rm B} \ge H_{\rm bin}^{-1} \left (1 - {C}/{R} \right) > 0 \hspace{0.05cm}.$$		:$$ p_{\rm B} \ge H_{\rm bin}^{-1} \left (1 - {C}/{R} \right) > 0 \hspace{0.05cm}.$$
	* Soll die Bitfehlerwahrscheinlichkeit nach bestmöglicher Decodierung den Wert  $p_{\rm B}$  nicht überschreiten, so darf die Rate einen gewissen Grenzwert nicht überschreiten:		* Soll die Bitfehlerwahrscheinlichkeit nach bestmöglicher Decodierung den Wert  $p_{\rm B}$  nicht überschreiten, so darf die Rate einen gewissen Grenzwert nicht überschreiten:

Guenter am 7. Februar 2020 um 10:51 Uhr

2020-02-07T10:51:12Z

← Nächstältere Version		Version vom 7. Februar 2020, 12:51 Uhr
Zeile 30:		Zeile 30:
	*Die Aufgabe gehört zum Kapitel  [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung\|Anwendung auf die Digitalsignalübertragung]].		*Die Aufgabe gehört zum Kapitel  [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung\|Anwendung auf die Digitalsignalübertragung]].
	*Bezug genommen wird insbesondere auf die Seite  [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung#Rate.2C_Kanalkapazit.C3.A4t_und_Bitfehlerwahrscheinlichkeit\|Rate, Kanalkapazität und Bitfehlerwahrscheinlichkeit]].		*Bezug genommen wird insbesondere auf die Seite  [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung#Rate.2C_Kanalkapazit.C3.A4t_und_Bitfehlerwahrscheinlichkeit\|Rate, Kanalkapazität und Bitfehlerwahrscheinlichkeit]].
	*Die Werte der binären Entropiefunktion werden zum Beispiel durch das interaktice ~~Berechnungsmodul~~  [[Applets:Entropie_und_Näherungen_binärer_Nachrichtenquellen\|Entropie und Näherungen binärer Nachrichtenquellen]]  bereitgestellt.		*Die Werte der binären Entropiefunktion werden zum Beispiel durch das interaktice Applet  [[Applets:Entropie_und_Näherungen_binärer_Nachrichtenquellen\|Entropie und Näherungen binärer Nachrichtenquellen]]  bereitgestellt.

Guenter am 7. Februar 2020 um 10:50 Uhr

2020-02-07T10:50:24Z

← Nächstältere Version		Version vom 7. Februar 2020, 12:50 Uhr
Zeile 30:		Zeile 30:
	*Die Aufgabe gehört zum Kapitel  [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung\|Anwendung auf die Digitalsignalübertragung]].		*Die Aufgabe gehört zum Kapitel  [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung\|Anwendung auf die Digitalsignalübertragung]].
	*Bezug genommen wird insbesondere auf die Seite  [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung#Rate.2C_Kanalkapazit.C3.A4t_und_Bitfehlerwahrscheinlichkeit\|Rate, Kanalkapazität und Bitfehlerwahrscheinlichkeit]].		*Bezug genommen wird insbesondere auf die Seite  [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung#Rate.2C_Kanalkapazit.C3.A4t_und_Bitfehlerwahrscheinlichkeit\|Rate, Kanalkapazität und Bitfehlerwahrscheinlichkeit]].
	*Die Werte der binären Entropiefunktion werden zum Beispiel durch das interaktice Berechnungsmodul  [[Applets:~~Quellenentropie~~\|~~Entropien von~~ Nachrichtenquellen]]  bereitgestellt.		*Die Werte der binären Entropiefunktion werden zum Beispiel durch das interaktice Berechnungsmodul  [[Applets:Entropie_und_Näherungen_binärer_Nachrichtenquellen\|Entropie und Näherungen binärer Nachrichtenquellen]]  bereitgestellt.

Guenter am 7. Februar 2020 um 10:47 Uhr

2020-02-07T10:47:52Z

← Nächstältere Version		Version vom 7. Februar 2020, 12:47 Uhr
Zeile 71:		Zeile 71:


	'''(2)'''  Durch Umstellung obiger Gleichung erhält man mit $H_{\rm bin}(~~p_B~~)$ aus der Grafik:
			'''(2)'''  Durch Umstellung obiger Gleichung erhält man mit  $H_{\rm bin}(p_{\rm B})$  aus der Grafik:
	:$$\begin{align*} R_{\rm max} = \frac{C}{1 - H_{\rm bin}( p_{\rm B})} \hspace{0.3cm}\Rightarrow \hspace{0.3cm} p_{\rm B} &= 0.10:\hspace{0.2cm} R_{\rm max} = \frac{0.5}{1 - 0.469}\hspace{0.15cm} \underline {=0.942} \hspace{0.05cm},\\		:$$\begin{align*} R_{\rm max} = \frac{C}{1 - H_{\rm bin}( p_{\rm B})} \hspace{0.3cm}\Rightarrow \hspace{0.3cm} p_{\rm B} &= 0.10:\hspace{0.2cm} R_{\rm max} = \frac{0.5}{1 - 0.469}\hspace{0.15cm} \underline {=0.942} \hspace{0.05cm},\\
	\Rightarrow \hspace{0.3cm} p_{\rm B} &= 0.05:\hspace{0.2cm} R_{\rm max} = \frac{0.5}{1 - 0.286}\hspace{0.15cm} \underline {=0.700}\hspace{0.05cm}.\end{align*}$$		\Rightarrow \hspace{0.3cm} p_{\rm B} &= 0.05:\hspace{0.2cm} R_{\rm max} = \frac{0.5}{1 - 0.286}\hspace{0.15cm} \underline {=0.700}\hspace{0.05cm}.\end{align*}$$



Zeile 79:		Zeile 81:
	*Für die binäre Entropiefunktion gilt definitionsgemäß:		*Für die binäre Entropiefunktion gilt definitionsgemäß:
	:$$H_{\rm bin}( p) = p \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{p} + (1-p) \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{1-p}\hspace{0.05cm}.$$		:$$H_{\rm bin}( p) = p \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{p} + (1-p) \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{1-p}\hspace{0.05cm}.$$
	*Beide Terme sind positiv. Daraus folgt der <u>Lösungsvorschlag 2</u>:   $H_{\rm bin}(p) = p · \log_2 \, (1/p)$.		*Beide Terme sind positiv.  Daraus folgt der <u>Lösungsvorschlag 2</u>:   $H_{\rm bin}(p) = p · \log_2 \, (1/p)$.
	*Die Differenz ist durch den zweiten Term der binären Entropiefunktion gegeben:		*Die Differenz ist durch den zweiten Term der binären Entropiefunktion gegeben:
	:$$ H_{\rm bin}( p) - p \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{p} = (1-p) \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{1-p}\hspace{0.05cm}.$$		:$$ H_{\rm bin}( p) - p \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{p} = (1-p) \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{1-p}\hspace{0.05cm}.$$
	*Dieser Term wird umso kleiner, je kleiner $p$ ist.		*Dieser Term wird umso kleiner, je kleiner  $p$  ist.
	*Zutreffend ist also auch der <u>Lösungsvorschlag 3</u>, wie die folgenden Rechnungen zeigen:		*Zutreffend ist also auch der <u>Lösungsvorschlag 3</u>, wie die folgenden Rechnungen zeigen:
	:$$ p_{\rm B} = 10^{-3}\text{:} \hspace{0.3cm} 0.999 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.999}= 1.4420 \cdot 10^{-3} \hspace{0.05cm},$$		:$$ p_{\rm B} = 10^{-3}\text{:} \hspace{0.3cm} 0.999 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.999}= 1.4420 \cdot 10^{-3} \hspace{0.05cm},$$
Zeile 91:		Zeile 93:

	'''(4)'''  <u>Alle Lösungsvorschläge</u> sind zutreffend:		'''(4)'''  <u>Alle Lösungsvorschläge</u> sind zutreffend:
	*Der Ausdruck $R/C$ gibt die obere Schranke gemäß dem inversen Kanalcodierungstheorem an. Für $p_{\rm B} = 10^{ –3 }$ erhält man folgende Schranke:		*Der Ausdruck  $R/C$  gibt die obere Schranke gemäß dem inversen Kanalcodierungstheorem an.  Für  $p_{\rm B} = 10^{ –3 }$  erhält man folgende Schranke:
	:$$R/C ≤ 1.01154 \hspace{0.5cm} ⇒ \hspace{0.5cm} R/C – 1 ≤ 1.154 · 10^{ –2 }.$$		:$$R/C ≤ 1.01154 \hspace{0.5cm} ⇒ \hspace{0.5cm} R/C - 1 ≤ 1.154 · 10^{ –2 }.$$
	* Beim Vorschlag 2 ist die Näherung gemäß '''(3)''' berücksichtigt. Da nun der Nenner vergrößert wird, ist $R′/C < R/C$, beispielsweise gilt für		* Beim Vorschlag 2 ist die Näherung gemäß Teilaufgabe  '''(3)'''  berücksichtigt.  Da nun der Nenner vergrößert wird, ist  $R′/C < R/C$, beispielsweise gilt für
	:$$p_{\rm B} = 10{ –3 }\text{:}\hspace{0.5cm} R′/C = 1.01007 · 10{ –2 }.$$		:$$p_{\rm B} = 10^{ –3 }\text{:}\hspace{0.5cm} R′/C = 1.01007 · 10^{ –2 }.$$
	: Es handelt sich auch hier um eine obere Schranke, etwas sicherer als die erste Schranke $R/C$.		: Es handelt sich auch hier um eine obere Schranke, etwas sicherer als die erste Schranke  $R/C$.
	* Die Schranke $R′′ < R′$ ergibt sich, wenn man $1/(1 – ε)$ durch $1 + ε$ ersetzt ($ε$ ist positiv). Für $p_{\rm B} = 10^{–3}$ erhält man nun beispielsweise		* Die Schranke  $R′′ < R′$  ergibt sich, wenn man  $1/(1 – ε)$  durch  $1 + ε$  ersetzt  $(ε$  ist positiv$)$.  Für  $p_{\rm B} = 10^{–3}$  erhält man nun beispielsweise
	:$$R′′/C = 1.00997 \hspace{0.5cm} ⇒ \hspace{0.5cm} R′′/C – 1 ≤ 0.997 · 10^{–2}.$$		:$$R′′/C = 1.00997 \hspace{0.5cm} ⇒ \hspace{0.5cm} R′′/C - 1 ≤ 0.997 · 10^{–2}.$$
	* $R′′′$ entsprechend dem letzten Vorschlag ist identisch mit $R′′$ und für Überschlagsrechnungen bei ganzzahligem Exponenten $i$ gut geeignet. Für den Zehnerlogarithmus gilt der Zahlenwert $\lg(2) ≈ 0.30103.$		* $R′′′$  entsprechend dem letzten Vorschlag ist identisch mit  $R′′$  und für Überschlagsrechnungen bei ganzzahligem Exponenten  $i$  gut geeignet.  <br>Für den Zehnerlogarithmus gilt der Zahlenwert  $\lg(2) ≈ 0.30103.$


			[[Datei:P_ID2806__Inf_A_3_12d.png\|right\|frame\|Berechnete Schranken für die Coderaten; es gilt   $p_{\rm B} = 10^{ –i}$]]

	Die Tabelle zeigt für verschiedene Bitfehlerwahrscheinlichkeiten $p_{\rm B}$ die Abweichungen der ersten Schranke $(R/C-1)$ und der letzten Näherung $(R'''/C-1)$. ~~Man erkennt die gute Übereinstimmung beider Schranken.~~		Die Tabelle zeigt für verschiedene Bitfehlerwahrscheinlichkeiten  $p_{\rm B}$  die Abweichungen
			* der ersten Schranke  $(R/C-1)$  und
			* der letzten Näherung  $(R'''/C-1)$.

	~~[[Datei:P_ID2806__Inf_A_3_12d~~.~~png\|center\|frame\|Berechnete Schranken für die Coderaten; es gilt   $p_{\rm B} = 10^{ –i}$]]~~		Man erkennt die gute Übereinstimmung beider Angaben.

	{{ML-Fuß}}		{{ML-Fuß}}

Guenter am 7. Februar 2020 um 10:26 Uhr

2020-02-07T10:26:31Z

← Nächstältere Version		Version vom 22. September 2021, 17:04 Uhr
Zeile 30:		Zeile 30:
	*Die Aufgabe gehört zum Kapitel  [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung\|Anwendung auf die Digitalsignalübertragung]].		*Die Aufgabe gehört zum Kapitel  [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung\|Anwendung auf die Digitalsignalübertragung]].
	*Bezug genommen wird insbesondere auf die Seite  [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung#Rate.2C_Kanalkapazit.C3.A4t_und_Bitfehlerwahrscheinlichkeit\|Rate, Kanalkapazität und Bitfehlerwahrscheinlichkeit]].		*Bezug genommen wird insbesondere auf die Seite  [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung#Rate.2C_Kanalkapazit.C3.A4t_und_Bitfehlerwahrscheinlichkeit\|Rate, Kanalkapazität und Bitfehlerwahrscheinlichkeit]].
	*Die Werte der binären Entropiefunktion werden zum Beispiel durch das interaktice Applet  [[Applets:Entropien_von_Nachrichtenquellen\|Entropie von Nachrichtenquellen]]  bereitgestellt.		*Die Werte der binären Entropiefunktion werden zum Beispiel durch das interaktice SWF–Applet  [[Applets:Entropien_von_Nachrichtenquellen\|Entropie von Nachrichtenquellen]]  bereitgestellt.

← Nächstältere Version		Version vom 22. September 2021, 17:02 Uhr
Zeile 30:		Zeile 30:
	*Die Aufgabe gehört zum Kapitel  [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung\|Anwendung auf die Digitalsignalübertragung]].		*Die Aufgabe gehört zum Kapitel  [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung\|Anwendung auf die Digitalsignalübertragung]].
	*Bezug genommen wird insbesondere auf die Seite  [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung#Rate.2C_Kanalkapazit.C3.A4t_und_Bitfehlerwahrscheinlichkeit\|Rate, Kanalkapazität und Bitfehlerwahrscheinlichkeit]].		*Bezug genommen wird insbesondere auf die Seite  [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung#Rate.2C_Kanalkapazit.C3.A4t_und_Bitfehlerwahrscheinlichkeit\|Rate, Kanalkapazität und Bitfehlerwahrscheinlichkeit]].
	*Die Werte der binären Entropiefunktion werden zum Beispiel durch das interaktice Applet  [[Applets:~~Entropie_und_Näherungen_binärer_Nachrichtenquellen~~\|Entropie ~~und Näherungen binärer~~ Nachrichtenquellen]]  bereitgestellt.		*Die Werte der binären Entropiefunktion werden zum Beispiel durch das interaktice Applet  [[Applets:Entropien_von_Nachrichtenquellen\|Entropie von Nachrichtenquellen]]  bereitgestellt.

← Nächstältere Version		Version vom 7. Februar 2020, 12:51 Uhr
Zeile 30:		Zeile 30:
	*Die Aufgabe gehört zum Kapitel  [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung\|Anwendung auf die Digitalsignalübertragung]].		*Die Aufgabe gehört zum Kapitel  [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung\|Anwendung auf die Digitalsignalübertragung]].
	*Bezug genommen wird insbesondere auf die Seite  [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung#Rate.2C_Kanalkapazit.C3.A4t_und_Bitfehlerwahrscheinlichkeit\|Rate, Kanalkapazität und Bitfehlerwahrscheinlichkeit]].		*Bezug genommen wird insbesondere auf die Seite  [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung#Rate.2C_Kanalkapazit.C3.A4t_und_Bitfehlerwahrscheinlichkeit\|Rate, Kanalkapazität und Bitfehlerwahrscheinlichkeit]].
	*Die Werte der binären Entropiefunktion werden zum Beispiel durch das interaktice ~~Berechnungsmodul~~  [[Applets:Entropie_und_Näherungen_binärer_Nachrichtenquellen\|Entropie und Näherungen binärer Nachrichtenquellen]]  bereitgestellt.		*Die Werte der binären Entropiefunktion werden zum Beispiel durch das interaktice Applet  [[Applets:Entropie_und_Näherungen_binärer_Nachrichtenquellen\|Entropie und Näherungen binärer Nachrichtenquellen]]  bereitgestellt.

← Nächstältere Version		Version vom 7. Februar 2020, 12:50 Uhr
Zeile 30:		Zeile 30:
	*Die Aufgabe gehört zum Kapitel  [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung\|Anwendung auf die Digitalsignalübertragung]].		*Die Aufgabe gehört zum Kapitel  [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung\|Anwendung auf die Digitalsignalübertragung]].
	*Bezug genommen wird insbesondere auf die Seite  [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung#Rate.2C_Kanalkapazit.C3.A4t_und_Bitfehlerwahrscheinlichkeit\|Rate, Kanalkapazität und Bitfehlerwahrscheinlichkeit]].		*Bezug genommen wird insbesondere auf die Seite  [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung#Rate.2C_Kanalkapazit.C3.A4t_und_Bitfehlerwahrscheinlichkeit\|Rate, Kanalkapazität und Bitfehlerwahrscheinlichkeit]].
	*Die Werte der binären Entropiefunktion werden zum Beispiel durch das interaktice Berechnungsmodul  [[Applets:~~Quellenentropie~~\|~~Entropien von~~ Nachrichtenquellen]]  bereitgestellt.		*Die Werte der binären Entropiefunktion werden zum Beispiel durch das interaktice Berechnungsmodul  [[Applets:Entropie_und_Näherungen_binärer_Nachrichtenquellen\|Entropie und Näherungen binärer Nachrichtenquellen]]  bereitgestellt.

← Nächstältere Version		Version vom 7. Februar 2020, 12:26 Uhr
Zeile 4:		Zeile 4:

	[[Datei:P_ID2805__Inf_A_3_12.png\|right\|frame\|Binäre Entropiefunktion]]		[[Datei:P_ID2805__Inf_A_3_12.png\|right\|frame\|Binäre Entropiefunktion]]
	Das Kanalcodierungstheorem von [https://de.wikipedia.org/wiki/Claude_Shannon Claude E. Shannon] besagt unter anderem, dass über einen Kanal mit beliebig kleiner Blockfehlerwahrscheinlichkeit übertragen werden kann, so lange die Coderate $R$ nicht größer ist als die Kanalkapazität $C$. Dieses Ergebnis erreicht man mit ''Kanalcodierung'' (englisch: ''Channel Coding'') allerdings nur bei sehr großen Blocklängen: $n → ∞$, was mit einem beliebig großen Aufwand verbunden ist.		Das Kanalcodierungstheorem von  [https://de.wikipedia.org/wiki/Claude_Shannon Claude E. Shannon]  besagt unter anderem, dass über einen Kanal mit beliebig kleiner Blockfehlerwahrscheinlichkeit übertragen werden kann, so lange die Coderate  $R$  nicht größer ist als die Kanalkapazität  $C$.  Dieses Ergebnis erreicht man mit  ''Kanalcodierung''  (englisch:  ''Channel Coding'')  allerdings nur bei sehr großen Blocklängen:  $n → ∞$, was mit einem beliebig großen Aufwand verbunden ist.

	Diese Aussage basiert auf informationstheoretischen Gesetzmäßigkeiten, die Shannon selbst aufgestellt hat. Shannon sagt nicht, wie diese „unendlich gute” Kanalcodierung aussehen muss, er beweist nur, dass es sie gibt.		Diese Aussage basiert auf informationstheoretischen Gesetzmäßigkeiten, die Shannon selbst aufgestellt hat.  Shannon sagt aber nicht, wie diese „unendlich gute” Kanalcodierung aussehen muss, er beweist nur, dass es sie gibt.

	Der Umkehrschluss des Kanalcodierungstheorems sagt aus, dass mit einer Rate $R > C$ keine fehlerfreie Übertragung möglich ist. Es gibt dann kein Codiersystem mit verschwindend kleiner Fehlerwahrscheinlichkeit, auch wenn die Codierung noch so aufwändig und ausgeklügelt wäre.		Der Umkehrschluss des Kanalcodierungstheorems sagt aus, dass mit einer Rate  $R > C$  keine fehlerfreie Übertragung möglich ist.  Es gibt dann kein Codiersystem mit verschwindend kleiner Fehlerwahrscheinlichkeit, auch wenn die Codierung noch so aufwändig und ausgeklügelt wäre.

	Vielmehr lassen sich für den Fall $R > C$ zwei Schranken angeben:		Vielmehr lassen sich für den Fall  $R > C$  zwei Schranken angeben:

	* Überträgt man über einen ''diskreten gedächtnislosen Kanal'' (~~'''~~DMC~~'''~~) mit einer Rate $R$ größer als die Kanalkapazität $C$, so gibt es eine untere Schranke für die Bitfehlerwahrscheinlichkeit:		* Überträgt man über einen  ''diskreten gedächtnislosen Kanal''  $\rm (DMC)$  mit einer Rate  $R$  größer als die Kanalkapazität  $C$, so gibt es eine untere Schranke für die Bitfehlerwahrscheinlichkeit:
	:$$ p_{\rm B} \ge H_{\rm bin}^{-1} \left (1 - {C}/{R} \right) > 0 \hspace{0.05cm}.$$		:$$ p_{\rm B} \ge H_{\rm bin}^{-1} \left (1 - {C}/{R} \right) > 0 \hspace{0.05cm}.$$
	* Soll die Bitfehlerwahrscheinlichkeit nach bestmöglicher Decodierung den Wert $p_{\rm B}$ nicht überschreiten, so darf die Rate einen gewissen Grenzwert nicht überschreiten:		* Soll die Bitfehlerwahrscheinlichkeit nach bestmöglicher Decodierung den Wert  $p_{\rm B}$  nicht überschreiten, so darf die Rate einen gewissen Grenzwert nicht überschreiten:
	:$$ R \le \frac{C}{1 - H_{\rm bin}( p_{\rm B})} \hspace{0.05cm}.$$		:$$ R \le \frac{C}{1 - H_{\rm bin}( p_{\rm B})} \hspace{0.05cm}.$$

	In dieser Aufgabe sollen diese Gleichungen unter Verwendung der [[Informationstheorie/Ged%C3%A4chtnislose_Nachrichtenquellen#Bin.C3.A4re_Entropiefunktion\|binären Entropiefunktion]]		In dieser Aufgabe sollen diese Gleichungen unter Verwendung der  [[Informationstheorie/Ged%C3%A4chtnislose_Nachrichtenquellen#Bin.C3.A4re_Entropiefunktion\|binären Entropiefunktion]]
	:$$ H_{\rm bin}( p) = p \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{p} + (1-p) \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{1-p}$$		:$$ H_{\rm bin}( p) = p \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{p} + (1-p) \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{1-p}$$
	numerisch ausgewertet werden.		numerisch ausgewertet werden.  Diese ist oben skizziert.  Wegen  $0 < p_B ≤ 1$  und  $0 < C/R < 1$  liegt das Argument der Funktion  $H_{\rm bin}(⋅)$  und deren Umkehrfunktion  $H_{\rm bin}^{ –1 }(⋅)$  stets zwischen  $0$  und  $1$.
	*Diese ist oben skizziert.
	*Wegen $0 < p_B ≤ 1$ und $0 < C/R < 1$ liegt das Argument der Funktion $H_{\rm bin}(⋅)$ und deren Umkehrfunktion $H_{\rm bin}^{ –1 }(⋅)$ stets zwischen $0$ und $1$.



Zeile 29:		Zeile 30:
	*Die Aufgabe gehört zum Kapitel  [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung\|Anwendung auf die Digitalsignalübertragung]].		*Die Aufgabe gehört zum Kapitel  [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung\|Anwendung auf die Digitalsignalübertragung]].
	*Bezug genommen wird insbesondere auf die Seite  [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung#Rate.2C_Kanalkapazit.C3.A4t_und_Bitfehlerwahrscheinlichkeit\|Rate, Kanalkapazität und Bitfehlerwahrscheinlichkeit]].		*Bezug genommen wird insbesondere auf die Seite  [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung#Rate.2C_Kanalkapazit.C3.A4t_und_Bitfehlerwahrscheinlichkeit\|Rate, Kanalkapazität und Bitfehlerwahrscheinlichkeit]].
	*Die Werte der binären Entropiefunktion werden zum Beispiel durch das interaktice Berechnungsmodul [[Applets:Quellenentropie\|Entropien von Nachrichtenquellen]] bereitgestellt.		*Die Werte der binären Entropiefunktion werden zum Beispiel durch das interaktice Berechnungsmodul  [[Applets:Quellenentropie\|Entropien von Nachrichtenquellen]]  bereitgestellt.


Zeile 37:		Zeile 38:

	<quiz display=simple>		<quiz display=simple>
	{Wie lautet die untere Bitfehlerwahrscheinlichkeitsschranke für $\underline{R/C = 4}$?		{Wie lautet die untere Bitfehlerwahrscheinlichkeitsschranke für  $\underline{R/C = 4}$?
	\|type="{}"}		\|type="{}"}
	$p_{\text{B, min}} \ = \ $ { 0.215 3% }		$p_{\text{B, min}} \ = \ $ { 0.215 3% }

	{Mit welcher Rate $R$ kann man über einen Kanal mit der Kanalkapazität $\underline{C = 0.5 \ \rm (bit)}$ bei gegebener Grenz–Fehlerwahrscheinlichkeit $p_{\rm B}$ übertragen?		{Mit welcher Rate  $R$  kann man über einen Kanal mit der Kanalkapazität  $\underline{C = 0.5 \ \rm (bit)}$  bei gegebener Grenz–Fehlerwahrscheinlichkeit  $p_{\rm B}$  übertragen?
	\|type="{}"}		\|type="{}"}
	$p_{\rm B} = 0.10\text{:} \hspace{0.5cm}R_{\rm max} \ = \ $ { 0.942 3% }		$p_{\rm B} = 0.10\text{:} \hspace{0.5cm}R_{\rm max} \ = \ $ { 0.942 3% }
Zeile 49:		Zeile 50:
	{Welche Relation besteht zwischen  $H_{\rm bin}(p)$  und der Näherung  $p · \log_2 (1/p)$?		{Welche Relation besteht zwischen  $H_{\rm bin}(p)$  und der Näherung  $p · \log_2 (1/p)$?
	\|type="[]"}		\|type="[]"}
	- Es gilt  $H_{\rm bin}(p) < p · \log_2 \, (1/p)$.		- Es gilt   $H_{\rm bin}(p) < p · \log_2 \, (1/p)$.
	+ Es gilt  $H_{\rm bin}(p) = p · \log_2 \, (1/p)$.		+ Es gilt  $H_{\rm bin}(p) = p · \log_2 \, (1/p)$.
	+ $H_{\rm bin}(p) - p · \log_2 \, (1/p)$ wird um so kleiner, je kleiner  $p$  ist.		+ $H_{\rm bin}(p) - p · \log_2 \, (1/p)$  wird um so kleiner, je kleiner  $p$  ist.

	{Welche der folgenden Gleichungen sind obere Schranken für die Rate?		{Welche der folgenden Gleichungen sind obere Schranken für die Rate?