Informationstheorie/Allgemeine Beschreibung - Versionsgeschichte

Maintenance script: Add English interlanguage link

2026-03-16T12:27:23Z

Add English interlanguage link

← Nächstältere Version		Version vom 16. März 2026, 14:27 Uhr
Zeile 329:		Zeile 329:

	{{Display}}		{{Display}}
			[[en:Information_Theory/General_Description]]

Maintenance script: Join multi-line formulas for MW 1.43 parser compat

2026-02-24T13:37:45Z

Join multi-line formulas for MW 1.43 parser compat

← Nächstältere Version		Version vom 24. Februar 2026, 15:37 Uhr
Zeile 244:		Zeile 244:
	$\text{Beispiel 6:}$  Betrachten wir den binären Code		$\text{Beispiel 6:}$  Betrachten wir den binären Code

	:$$\boldsymbol{\rm A } \hspace{0.15cm} \Rightarrow \hspace{0.15cm} 0		:$$\boldsymbol{\rm A } \hspace{0.15cm} \Rightarrow \hspace{0.15cm} 0 \hspace{0.05cm}, \hspace{0.2cm}\boldsymbol{\rm B } \hspace{0.15cm} \Rightarrow \hspace{0.15cm} 00\hspace{0.05cm}, \hspace{0.2cm}\boldsymbol{\rm C } \hspace{0.15cm} \Rightarrow \hspace{0.15cm} 11\hspace{0.05cm}, $$
	\hspace{0.05cm}, \hspace{0.2cm}\boldsymbol{\rm B } \hspace{0.15cm} \Rightarrow \hspace{0.15cm} 00
	\hspace{0.05cm}, \hspace{0.2cm}\boldsymbol{\rm C } \hspace{0.15cm} \Rightarrow \hspace{0.15cm} 11
	\hspace{0.05cm}, $$

	so ist dieser offensichtlich nicht präfixfrei.  Die Gleichung		so ist dieser offensichtlich nicht präfixfrei.  Die Gleichung
Zeile 255:		Zeile 252:
	sagt also keinesfalls aus, dass dieser Code tatsächlich präfixfrei ist, sondern es bedeutet lediglich, dass es einen präfixfreien Code mit gleicher Längenverteilung gibt, zum Beispiel		sagt also keinesfalls aus, dass dieser Code tatsächlich präfixfrei ist, sondern es bedeutet lediglich, dass es einen präfixfreien Code mit gleicher Längenverteilung gibt, zum Beispiel

	:$$\boldsymbol{\rm A } \hspace{0.15cm} \Rightarrow \hspace{0.15cm} 0		:$$\boldsymbol{\rm A } \hspace{0.15cm} \Rightarrow \hspace{0.15cm} 0 \hspace{0.05cm}, \hspace{0.2cm}\boldsymbol{\rm B } \hspace{0.15cm} \Rightarrow \hspace{0.15cm} 10\hspace{0.05cm}, \hspace{0.2cm}\boldsymbol{\rm C } \hspace{0.15cm} \Rightarrow \hspace{0.15cm} 11\hspace{0.05cm}.$$}}
	\hspace{0.05cm}, \hspace{0.2cm}\boldsymbol{\rm B } \hspace{0.15cm} \Rightarrow \hspace{0.15cm} 10
	\hspace{0.05cm}, \hspace{0.2cm}\boldsymbol{\rm C } \hspace{0.15cm} \Rightarrow \hspace{0.15cm} 11
	\hspace{0.05cm}.$$}}


Zeile 290:		Zeile 284:
	Bei einer Quaternärquelle mit den Symbolwahrscheinlichkeiten		Bei einer Quaternärquelle mit den Symbolwahrscheinlichkeiten

	:$$p_{\rm A} = 2^{-1}\hspace{0.05cm}, \hspace{0.2cm}p_{\rm B} = 2^{-2}\hspace{0.05cm}, \hspace{0.2cm}p_{\rm C} = p_{\rm D} = 2^{-3}		:$$p_{\rm A} = 2^{-1}\hspace{0.05cm}, \hspace{0.2cm}p_{\rm B} = 2^{-2}\hspace{0.05cm}, \hspace{0.2cm}p_{\rm C} = p_{\rm D} = 2^{-3}\hspace{0.3cm} \Rightarrow \hspace{0.3cm} H = H_1 = 1.75\,\, {\rm bit/Quellensymbol} $$
	\hspace{0.3cm} \Rightarrow \hspace{0.3cm} H = H_1 = 1.75\,\, {\rm bit/Quellensymbol} $$

	ergibt sich in obiger Gleichung das Gleichheitszeichen   ⇒   $L_{\rm M} = H$, wenn man zum Beispiel folgende Zuordnung wählt:		ergibt sich in obiger Gleichung das Gleichheitszeichen   ⇒   $L_{\rm M} = H$, wenn man zum Beispiel folgende Zuordnung wählt:

	:$$\boldsymbol{\rm A } \hspace{0.15cm} \Rightarrow \hspace{0.15cm} 0		:$$\boldsymbol{\rm A } \hspace{0.15cm} \Rightarrow \hspace{0.15cm} 0 \hspace{0.05cm}, \hspace{0.2cm}\boldsymbol{\rm B } \hspace{0.15cm} \Rightarrow \hspace{0.15cm} 10\hspace{0.05cm}, \hspace{0.2cm}\boldsymbol{\rm C } \hspace{0.15cm} \Rightarrow \hspace{0.15cm} 110\hspace{0.05cm}, \hspace{0.2cm}\boldsymbol{\rm D }\hspace{0.15cm} \Rightarrow \hspace{0.15cm} 111\hspace{0.05cm}. $$
	\hspace{0.05cm}, \hspace{0.2cm}\boldsymbol{\rm B } \hspace{0.15cm} \Rightarrow \hspace{0.15cm} 10
	\hspace{0.05cm}, \hspace{0.2cm}\boldsymbol{\rm C } \hspace{0.15cm} \Rightarrow \hspace{0.15cm} 110
	\hspace{0.05cm}, \hspace{0.2cm}\boldsymbol{\rm D }\hspace{0.15cm} \Rightarrow \hspace{0.15cm} 111
	\hspace{0.05cm}. $$

	Dagegen ergibt sich mit der gleichen Zuordnung und		Dagegen ergibt sich mit der gleichen Zuordnung und

	:$$p_{\rm A} = 0.4\hspace{0.05cm}, \hspace{0.2cm}p_{\rm B} = 0.3\hspace{0.05cm}, \hspace{0.2cm}p_{\rm C} = 0.2		:$$p_{\rm A} = 0.4\hspace{0.05cm}, \hspace{0.2cm}p_{\rm B} = 0.3\hspace{0.05cm}, \hspace{0.2cm}p_{\rm C} = 0.2\hspace{0.05cm}, \hspace{0.2cm}p_{\rm D} = 0.1\hspace{0.05cm}\hspace{0.3cm} \Rightarrow \hspace{0.3cm} H = 1.845\,\, {\rm bit/Quellensymbol}$$
	\hspace{0.05cm}, \hspace{0.2cm}p_{\rm D} = 0.1\hspace{0.05cm}
	\hspace{0.3cm} \Rightarrow \hspace{0.3cm} H = 1.845\,\, {\rm bit/Quellensymbol}$$

	die mittlere Codewortlänge		die mittlere Codewortlänge

	:$$L_{\rm M} = 0.4 \cdot 1 + 0.3 \cdot 2 + 0.2 \cdot 3 + 0.1 \cdot 3		:$$L_{\rm M} = 0.4 \cdot 1 + 0.3 \cdot 2 + 0.2 \cdot 3 + 0.1 \cdot 3 = 1.9\,\, {\rm bit/Quellensymbol}\hspace{0.05cm}. $$
	= 1.9\,\, {\rm bit/Quellensymbol}\hspace{0.05cm}. $$

	Wegen der ungünstig gewählten Symbolwahrscheinlichkeiten (keine Zweierpotenzen) ist hier $L_{\rm M} > H$.}}		Wegen der ungünstig gewählten Symbolwahrscheinlichkeiten (keine Zweierpotenzen) ist hier $L_{\rm M} > H$.}}

Maintenance script: Domain migration: replace www.lntwww.de with relative paths

2026-02-24T13:11:31Z

Domain migration: replace www.lntwww.de with relative paths

← Nächstältere Version		Version vom 24. Februar 2026, 15:11 Uhr
Zeile 26:		Zeile 26:
	Weitere Informationen zum Thema sowie Aufgaben, Simulationen und Programmierübungen finden Sie im Versuch &bdquo;Wertdiskrete Informationstheorie” des Praktikums „Simulation Digitaler Übertragungssysteme ”.  Diese (ehemalige) LNT-Lehrveranstaltung an der TU München basiert auf		Weitere Informationen zum Thema sowie Aufgaben, Simulationen und Programmierübungen finden Sie im Versuch &bdquo;Wertdiskrete Informationstheorie” des Praktikums „Simulation Digitaler Übertragungssysteme ”.  Diese (ehemalige) LNT-Lehrveranstaltung an der TU München basiert auf

	:*dem Windows-Programm  [~~http://www.lntwww.de~~/downloads/Sonstiges/Programme/WDIT.zip WDIT]  ⇒  Link verweist auf die ZIP-Version des Programms,  und		:*dem Windows-Programm  [/downloads/Sonstiges/Programme/WDIT.zip WDIT]  ⇒  Link verweist auf die ZIP-Version des Programms,  und
	:*der zugehörigen  [~~http://www.lntwww.de~~/downloads/Sonstiges/Texte/Wertdiskrete_Informationstheorie.pdf Praktikumsanleitung]  ⇒  Link verweist auf die PDF-Version.		:*der zugehörigen  [/downloads/Sonstiges/Texte/Wertdiskrete_Informationstheorie.pdf Praktikumsanleitung]  ⇒  Link verweist auf die PDF-Version.

Guenter am 13. Juli 2021 um 14:01 Uhr

2021-07-13T14:01:23Z

← Nächstältere Version		Version vom 13. Juli 2021, 16:01 Uhr
Zeile 15:		Zeile 15:
	Im Einzelnen werden behandelt:		Im Einzelnen werden behandelt:

	*~~die~~ unterschiedlichen Ziele von  »Quellencodierung«,  »Kanalcodierung«  und  »Leitungscodierung«,		:*Die unterschiedlichen Ziele von  »Quellencodierung«,  »Kanalcodierung«  und  »Leitungscodierung«,
	*»verlustbehaftete Codierverfahren«  für analoge Quellen, zum Beispiel GIF, TIFF, JPEG, PNG, MP3,		:*»verlustbehaftete Codierverfahren«  für analoge Quellen, zum Beispiel GIF, TIFF, JPEG, PNG, MP3,
	*das  »Quellencodierungstheorem«, das eine Grenze für die mittlere Codewortlänge angibt,		:*das  »Quellencodierungstheorem«, das eine Grenze für die mittlere Codewortlänge angibt,
	*die häufig angewandte  »Datenkompression nach Lempel, Ziv und Welch«,		:*die häufig angewandte  »Datenkompression nach Lempel, Ziv und Welch«,
	*der  »Huffman–Code«  als die bekannteste und effizienteste Form der Entropiecodierung,		:*der  »Huffman–Code«  als die bekannteste und effizienteste Form der Entropiecodierung,
	*der  »Shannon–Fano–Code«  sowie die  »arithmetische Codierung« – beide gehören ebenfalls zur Klasse der Entropiecodierer,		:*der  »Shannon–Fano–Code«  sowie die  »arithmetische Codierung« – beide gehören ebenfalls zur Klasse der Entropiecodierer,
	*die  »Lauflängencodierung«  sowie die  »Burrows-Wheeler Transformation«  (BWT).		:*die  »Lauflängencodierung«  sowie die  »Burrows-Wheeler Transformation«  (BWT).


	Weitere Informationen zum Thema sowie Aufgaben, Simulationen und Programmierübungen finden Sie im Versuch &bdquo;Wertdiskrete Informationstheorie” des Praktikums „Simulation Digitaler Übertragungssysteme ”.  Diese (ehemalige) LNT-Lehrveranstaltung an der TU München basiert auf		Weitere Informationen zum Thema sowie Aufgaben, Simulationen und Programmierübungen finden Sie im Versuch &bdquo;Wertdiskrete Informationstheorie” des Praktikums „Simulation Digitaler Übertragungssysteme ”.  Diese (ehemalige) LNT-Lehrveranstaltung an der TU München basiert auf

	*dem Windows-Programm  [http://www.lntwww.de/downloads/Sonstiges/Programme/WDIT.zip WDIT]  ⇒  Link verweist auf die ZIP-Version des Programms,  und		:*dem Windows-Programm  [http://www.lntwww.de/downloads/Sonstiges/Programme/WDIT.zip WDIT]  ⇒  Link verweist auf die ZIP-Version des Programms,  und
	*der zugehörigen  [http://www.lntwww.de/downloads/Sonstiges/Texte/Wertdiskrete_Informationstheorie.pdf Praktikumsanleitung]  ⇒  Link verweist auf die PDF-Version.		:*der zugehörigen  [http://www.lntwww.de/downloads/Sonstiges/Texte/Wertdiskrete_Informationstheorie.pdf Praktikumsanleitung]  ⇒  Link verweist auf die PDF-Version.

Guenter am 26. Juni 2021 um 14:12 Uhr

2021-06-26T14:12:51Z

← Nächstältere Version		Version vom 26. Juni 2021, 16:12 Uhr
Zeile 263:		Zeile 263:
	==Quellencodierungstheorem==		==Quellencodierungstheorem==
	<br>		<br>
	Wir betrachten nun eine redundante Nachrichtenquelle mit dem Symbolvorrat  $〈q_μ〉$, wobei die Laufvariable  $μ$  alle Werte zwischen  $1$  und dem Symbolumfang  $M$  annimmt.  Die Quellenentropie  $H$  sei kleiner als ~~der Nachrichtengehalt~~  $H_0$.		Wir betrachten nun eine redundante Nachrichtenquelle mit dem Symbolvorrat  $〈q_μ〉$, wobei die Laufvariable  $μ$  alle Werte zwischen  $1$  und dem Symbolumfang  $M$  annimmt.  Die Quellenentropie  $H$  sei kleiner als  $H_0=\log_2 \ M$.

	Die Redundanz  $(H_0- H)$  ~~geht~~ entweder ~~zurück auf~~		Die Redundanz  $(H_0- H)$  ist entweder zurückzuführen
	*nicht gleichwahrscheinliche Symbole   ⇒   $p_μ ≠ 1/M$,  und/oder		*auf nicht gleichwahrscheinliche Symbole   ⇒   $p_μ ≠ 1/M$,  und/oder
	*statistische Bindungen innerhalb der Folge  $〈q_\nu〉$.		*auf statistische Bindungen innerhalb der Folge  $〈q_\nu〉$.


	Ein Quellencodierer ersetzt das Quellensymbol  $q_μ$  durch das binäre Codewort  $\mathcal{C}(q_μ)$, bestehend aus  $L_μ$  Binärsymbolen (Nullen oder Einsen).  Damit ergibt sich die mittlere Codewortlänge zu		Ein Quellencodierer ersetzt das Quellensymbol  $q_μ$  durch das binäre Codewort  $\mathcal{C}(q_μ)$, bestehend aus  $L_μ$  Binärsymbolen  (Nullen oder Einsen).  Damit ergibt sich die mittlere Codewortlänge zu

	:$$L_{\rm M} = \sum_{\mu=1}^{M} \hspace{0.2cm} p_{\mu} \cdot L_{\mu} \hspace{0.05cm}, \hspace{0.2cm}{\rm mit} \hspace{0.2cm}p_{\mu} = {\rm Pr}(q_{\mu}) \hspace{0.05cm}. $$		:$$L_{\rm M} = \sum_{\mu=1}^{M} \hspace{0.2cm} p_{\mu} \cdot L_{\mu} \hspace{0.05cm}, \hspace{0.2cm}{\rm mit} \hspace{0.2cm}p_{\mu} = {\rm Pr}(q_{\mu}) \hspace{0.05cm}. $$

	Für die hier beschriebene Quellencodierungsaufgabe kann folgende~~  '''Grenze''' ~~ angegeben werden:		Für die hier beschriebene Quellencodierungsaufgabe kann die folgende notwendige Bedingung angegeben werden:

	{{BlaueBox\|TEXT=		{{BlaueBox\|TEXT=
	$\text{Theorem:}$		$\text{Theorem:}$
	Für die Möglichkeit der vollständigen Rekonstruktion der gesendeten Zeichenfolge aus der Binärfolge ist es hinreichend, aber auch notwendig, dass		Für die Möglichkeit der vollständigen Rekonstruktion der gesendeten Zeichenfolge aus der Binärfolge ist es hinreichend, aber auch notwendig, dass man zur sendeseitigen Codierung im Mittel mindestens  $H$  Binärsymbole pro Quellensymbol verwendet.

	*~~man zur sendeseitigen Codierung im Mittel mindestens~~  $H$  ~~Binärsymbole pro Quellensymbol verwendet~~.		*Die mittlere Codewortlänge  $L_{\rm M}$  kann auf keinen Fall kleiner sein kann als die Entropie  $H$  der Quellensymbolfolge:   $L_{\rm M} \ge H \hspace{0.05cm}. $

	*~~die mittlere Codewortlänge  $L_{\rm M}$  auf keinen Fall kleiner sein kann als die Entropie  $H$  der Quellensymbolfolge:  ~~		*Man bezeichnet diese Gesetzmäßigkeit als das  ''' Quellencodierungstheorem''', das auf  [https://de.wikipedia.org/wiki/Claude_Shannon Claude Elwood Shannon]  zurückgeht.
	~~:$$L_{\rm M} \ge H \hspace{0.05cm}. $$~~		*Berücksichtigt der Quellencodierer nur die unterschiedlichen Auftrittswahrscheinlichkeiten, nicht aber die inneren statistischen Bindungen der Folge , dann gilt  $L_{\rm M} ≥ H_1$   ⇒   [[Informationstheorie/Nachrichtenquellen_mit_Gedächtnis#Entropie_hinsichtlich_Zweiertupel\|erste Entropienäherung]].}}

	Man bezeichnet diese Gesetzmäßigkeit als  ''' Quellencodierungstheorem''', das auf  [https://de.wikipedia.org/wiki/Claude_Shannon Claude Elwood Shannon]  zurückgeht.  Berücksichtigt der Quellencodierer nur die unterschiedlichen Auftrittswahrscheinlichkeiten, nicht aber die inneren statistischen Bindungen der Folge , dann gilt  $L_{\rm M} ≥ H_1$   ⇒   [[Informationstheorie/Nachrichtenquellen_mit_Gedächtnis#Entropie_hinsichtlich_Zweiertupel\|erste Entropienäherung]].}}


Zeile 316:		Zeile 314:
	Wegen der ungünstig gewählten Symbolwahrscheinlichkeiten (keine Zweierpotenzen) ist hier $L_{\rm M} > H$.}}		Wegen der ungünstig gewählten Symbolwahrscheinlichkeiten (keine Zweierpotenzen) ist hier $L_{\rm M} > H$.}}


			[[Datei:P_ID2323__Inf_T_2_1_S6_ganz_neu.png\|right\|frame\|Buchstabencodierungen nach Bacon/Bandot, Morse und Huffman]]

	{{GraueBox\|TEXT=		{{GraueBox\|TEXT=
	$\text{Beispiel 8:}$		$\text{Beispiel 8:}$
	Wir betrachten noch einige sehr frühe Versuche der Quellencodierung für die Übertragung von natürlichen Texten, wobei wir von den in der Tabelle angegebenen Buchstabenhäufigkeiten ausgehen.		Wir betrachten noch einige sehr frühe Versuche der Quellencodierung für die Übertragung von natürlichen Texten, wobei wir von den in der Tabelle angegebenen Buchstabenhäufigkeiten ausgehen.
	*In der Literatur findet man viele ~~unterschiedliche~~ Häufigkeitsangaben,  auch deshalb,  weil ~~die~~ Untersuchungen für verschiedene Sprachen durchgeführt wurden.
			*In der Literatur findet man viele, teilweise deutlich verschiedene Häufigkeitsangaben,  auch deshalb,  weil diese Untersuchungen für verschiedene Sprachen durchgeführt wurden.
	*Meist beginnt die Liste aber mit dem Leerzeichen (Blank) sowie „E” und endet mit Buchstaben wie „X”,  „Y”  und  „Q”.		*Meist beginnt die Liste aber mit dem Leerzeichen (Blank) sowie „E” und endet mit Buchstaben wie „X”,  „Y”  und  „Q”.
			<br clear=all>

	~~[[Datei:P_ID2323__Inf_T_2_1_S6_ganz_neu.png\|center\|frame\|Buchstabencodierungen nach Bacon/Bandot, Morse und Huffman]]~~

	Zu dieser Tabelle ist zu anzumerken:		Zu dieser Tabelle ist zu anzumerken:
	*Die Entropie dieses Alphabets mit  $M = 27$  Zeichen wird  $H≈ 4 \, \rm bit/Zeichen$  betragen.  Wir haben das nicht nachgerechnet.  [https://de.wikipedia.org/wiki/Francis_Bacon Francis Bacon]  hat aber schon 1623 einen Binärcode angegeben, bei dem jeder Buchstabe mit fünf Bit dargestellt ~~wird~~:   $L_{\rm M} = 5$.		*Die Entropie dieses Alphabets mit  $M = 27$  Zeichen wird  $H≈ 4 \, \rm bit/Zeichen$  betragen.  Wir haben das nicht nachgerechnet.  [https://de.wikipedia.org/wiki/Francis_Bacon Francis Bacon]  hat aber schon 1623 einen Binärcode angegeben, bei dem jeder Buchstabe mit fünf Bit dargestellt wurde:   $L_{\rm M} = 5$.
	*Etwa 250 Jahre danach hat  [https://de.wikipedia.org/wiki/Baudot-Code Jean-Maurice-Émile Baudot]  diesen Code übernommen, der später auch für die gesamte Telegrafie standardisiert wurde.  Eine ihm wichtige Überlegung war, dass ein Code mit einheitlich fünf Binärzeichen pro Buchstabe für einen Feind schwerer zu dechiffrieren ist, da dieser aus der Häufigkeit des Auftretens keine Rückschlüsse auf das übertragene Zeichen ziehen kann.		*Etwa 250 Jahre danach hat  [https://de.wikipedia.org/wiki/Baudot-Code Jean-Maurice-Émile Baudot]  diesen Code übernommen, der später auch für die gesamte Telegrafie standardisiert wurde.  Eine ihm wichtige Überlegung war, dass ein Code mit einheitlich fünf Binärzeichen pro Buchstabe für einen Feind schwerer zu dechiffrieren ist, da dieser aus der Häufigkeit des Auftretens keine Rückschlüsse auf das übertragene Zeichen ziehen kann.
	*Die letzte Zeile in obiger Tabelle gibt einen beispielhaften  [[Informationstheorie/Entropiecodierung_nach_Huffman#Der_Huffman.E2.80.93Algorithmus\|Huffman–Code]]  für obige Häufigkeitsverteilung an.  Wahrscheinliche Zeichen wie „E” oder „N” und auch das „Blank” werden mit nur drei Bit dargestellt, das seltene „Q” dagegen mit  $11$ Bit.		*Die letzte Zeile in obiger Tabelle gibt einen beispielhaften  [[Informationstheorie/Entropiecodierung_nach_Huffman#Der_Huffman.E2.80.93Algorithmus\|Huffman–Code]]  für obige Häufigkeitsverteilung an.  Wahrscheinliche Zeichen wie „E” oder „N” und auch das „Blank” werden mit nur drei Bit dargestellt, das seltene „Q” dagegen mit  $11$ Bit.
	*Die mittlere Codewortlänge  $L_{\rm M} = H + ε$  ist geringfügig größer als  $H$, wobei wir uns hier über die kleine positive Größe  $ε$  nicht genauer auslassen wollen.  Nur soviel:   Es gibt keinen präfixfreien Code mit kleinerer mittlerer Wortlänge als den Huffman–Code.		*Die mittlere Codewortlänge  $L_{\rm M} = H + ε$  ist geringfügig größer als  $H$, wobei wir uns hier über die kleine positive Größe  $ε$  nicht genauer auslassen wollen.  Nur soviel:   Es gibt keinen präfixfreien Code mit kleinerer mittlerer Wortlänge als den Huffman–Code.
	*Auch  [https://de.wikipedia.org/wiki/Morsezeichen Samuel Morse]  berücksichtigte bereits bei seinem Code für die Telegrafie in den ~~1830er~~ Jahren die unterschiedlichen Häufigkeiten.  Der Morse–Code eines jeden Zeichens besteht aus zwei bis vier Binärzeichen, die hier entsprechend der Anwendung mit Punkt („Kurz”) und Strich („Lang”) bezeichnet werden.		*Auch  [https://de.wikipedia.org/wiki/Morsezeichen Samuel Morse]  berücksichtigte bereits bei seinem Code für die Telegrafie in den 1840er Jahren die unterschiedlichen Häufigkeiten.  Der Morse–Code eines jeden Zeichens besteht aus zwei bis vier Binärzeichen, die hier entsprechend der Anwendung mit Punkt („Kurz”) und Strich („Lang”) bezeichnet werden.
	*Es ist offensichtlich, dass für den Morsecode gemäß der vorletzten Zeile  $L_{\rm M} < 4$  gelten wird.  Dies hängt aber damit zusammen, dass dieser Code nicht präfixfrei ist.  Zwischen jeder Kurz–Lang–Sequenz musste deshalb der Funker eine Pause einlegen, damit die Gegenstation das Funksignal auch entschlüsseln konnte.}}		*Es ist offensichtlich, dass für den Morsecode gemäß der vorletzten Zeile  $L_{\rm M} < 4$  gelten wird.  Dies hängt aber damit zusammen, dass dieser Code nicht präfixfrei ist.  Zwischen jeder Kurz–Lang–Sequenz musste deshalb der Funker eine Pause einlegen, damit die Gegenstation das Funksignal auch entschlüsseln konnte.}}

Guenter am 26. Juni 2021 um 12:40 Uhr

2021-06-26T12:40:40Z

← Nächstältere Version		Version vom 26. Juni 2021, 14:40 Uhr
Zeile 184:		Zeile 184:
	:$$M = 8\text{:} \ \ \ q_μ \in \{ {\rm A}, \ {\rm B}, \ {\rm C}, \ {\rm D},\ {\rm E}, \ {\rm F}, \ {\rm G}, \ {\rm H} \}, \hspace{0.5cm} \text{mit den Wahrscheinlichkeiten }\ p_{\rm A},\hspace{0.05cm}\text{...} \hspace{0.05cm} ,\ p_{\rm H}.$$		:$$M = 8\text{:} \ \ \ q_μ \in \{ {\rm A}, \ {\rm B}, \ {\rm C}, \ {\rm D},\ {\rm E}, \ {\rm F}, \ {\rm G}, \ {\rm H} \}, \hspace{0.5cm} \text{mit den Wahrscheinlichkeiten }\ p_{\rm A},\hspace{0.05cm}\text{...} \hspace{0.05cm} ,\ p_{\rm H}.$$

	*Der Quellencodierer ersetzt das Quellensymbol  $q_μ$  durch das Codewort  $\mathcal{C}(q_μ)$, bestehend aus  $L_μ$  Codesymbolen eines neuen Alphabets mit dem Symbolumfang  $D$  $\{0, \ 1$, ... ,  $D – 1\}$.  Damit ergibt sich für die  '''mittlere Codewortlänge''':		*Der Quellencodierer ersetzt das Quellensymbol  $q_μ$  durch das Codewort  $\mathcal{C}(q_μ)$, bestehend aus  $L_μ$  Codesymbolen eines neuen Alphabets mit dem Symbolumfang  $D$  $\{0, \ 1$, ... ,  $D - 1\}$.  Damit ergibt sich für die  '''mittlere Codewortlänge''':

	:$$L_{\rm M} = \sum_{\mu=1}^{M} \hspace{0.1cm} p_{\mu} \cdot L_{\mu} \hspace{0.05cm}, \hspace{0.2cm}{\rm mit} \hspace{0.2cm}p_{\mu} = {\rm Pr}(q_{\mu}) \hspace{0.05cm}. $$		:$$L_{\rm M} = \sum_{\mu=1}^{M} \hspace{0.1cm} p_{\mu} \cdot L_{\mu} \hspace{0.05cm}, \hspace{0.2cm}{\rm mit} \hspace{0.2cm}p_{\mu} = {\rm Pr}(q_{\mu}) \hspace{0.05cm}. $$

	{{GraueBox\|TEXT=		{{GraueBox\|TEXT=
	$\text{Beispiel 4:}$  Wir betrachten zwei verschiedene Arten von Quellencodierung, jeweils mit den Parametern  $M = 9$  und  $D = 3$.		$\text{Beispiel 4:}$  Wir betrachten zwei verschiedene Arten von Quellencodierung,  jeweils mit den Parametern  $M = 9$  und  $D = 3$.

	*Bei der ~~ersten~~ Codierung  $\mathcal{C}_1(q_μ)$  gemäß Zeile 2 ~~(rote Darstellung)~~ der ~~unteren~~ Tabelle wird jedes Quellensymbol  $q_μ$  durch zwei Ternärsymbole  $(0$,  $1$  oder  $2)$  ersetzt.  Beispielsweise gilt die Zuordnung:		[[Datei:P_ID2316__Inf_T_2_1_S3_Ganz_neu.png\|right\|frame\|Zwei Beispiele für Quellencodierung]]

			*Bei der Codierung  $\mathcal{C}_1(q_μ)$  gemäß der (roten) Zeile 2 der Tabelle wird jedes Quellensymbol  $q_μ$  durch zwei Ternärsymbole  $(0$,  $1$  oder  $2)$  ersetzt.  Beispielsweise gilt die Zuordnung:
	: $$\rm A C F B I G \ ⇒ \ 00 \ 02 \ 12 \ 01 \ 22 \ 20.$$		: $$\rm A C F B I G \ ⇒ \ 00 \ 02 \ 12 \ 01 \ 22 \ 20.$$
	*Bei dieser Codierung haben alle Codeworte  $\mathcal{C}_1(q_μ)$  mit  $1 ≤ μ ≤ 6$  die gleiche Länge  $L_μ = 2$.  Damit ist auch die mittlere Codewortlänge  $L_{\rm M} = 2$.		*Bei dieser Codierung haben alle Codeworte  $\mathcal{C}_1(q_μ)$  mit  $1 ≤ μ ≤ 6$  die gleiche Länge  $L_μ = 2$.  Damit ist auch die mittlere Codewortlänge  $L_{\rm M} = 2$.


	~~[[Datei:P_ID2316__Inf_T_2_1_S3_Ganz_neu.png\|center\|frame\|Zwei Beispiele für Quellencodierung]]~~		*Beim blauen Quellencodierer gilt  $L_μ ∈ \{1, \ 2 \}$.  Hier ist die mittlere Codewortlänge  $L_{\rm M}$  kleiner als zwei Codesymbole pro Quellensymbol, und es gilt die Zuordnung:

	*~~Dagegen gilt beim zweiten, dem~~ blauen Quellencodierer  $L_μ ∈ \{1, 2 \}$  ~~und dementsprechend wird~~ die mittlere Codewortlänge  $L_{\rm M}$  kleiner ~~sein~~ als zwei Codesymbole pro Quellensymbol~~. Hier~~ gilt die Zuordnung:
	: $$\rm A C F B I G \ ⇒ \ 0 \ 02 \ 12 \ 01 \ 22 \ 2.$$		: $$\rm A C F B I G \ ⇒ \ 0 \ 02 \ 12 \ 01 \ 22 \ 2.$$

Zeile 227:		Zeile 227:
	{{BlaueBox\|TEXT=		{{BlaueBox\|TEXT=
	$\text{Ohne Beweis:}$		$\text{Ohne Beweis:}$
	Die notwendige  '''Bedingung für die Existenz eines präfixfreien Codes'''  wurde von Leon Kraft in seiner Master Thesis 1949 am  ''Massachusetts Institute of Technology''  (MIT) angegeben :		Die notwendige  '''Bedingung für die Existenz eines präfixfreien Codes'''  wurde von Leon Kraft in seiner Master Thesis 1949 am  Massachusetts Institute of Technology  (MIT) angegeben:

	:$$\sum_{\mu=1}^{M} \hspace{0.2cm} D^{-L_{\mu} } \le 1 \hspace{0.05cm}.$$}}		:$$\sum_{\mu=1}^{M} \hspace{0.2cm} D^{-L_{\mu} } \le 1 \hspace{0.05cm}.$$}}

Guenter am 25. Juni 2021 um 15:40 Uhr

2021-06-25T15:40:18Z

← Nächstältere Version		Version vom 25. Juni 2021, 17:40 Uhr
Zeile 52:		Zeile 52:

	*Der Kanalcodierung ist in unserem Tutorial ein eigenes Buch mit folgendem  [[Kanalcodierung\|Inhalt]]  gewidmet.		*Der Kanalcodierung ist in unserem Tutorial ein eigenes Buch mit folgendem  [[Kanalcodierung\|Inhalt]]  gewidmet.
	*Die Leitungscodierung wird im Kapitel$  &bdquo;Codierte und mehrstufige Übertragung”$  des Buches  [[Digitalsignalübertragung]]  eingehend behandelt.		*Die Leitungscodierung wird im Kapitel  &bdquo;Codierte und mehrstufige Übertragung”  des Buches  [[Digitalsignalübertragung]]  eingehend behandelt.


Zeile 109:		Zeile 109:
	==Verlustbehaftete Quellencodierung für Audiosignale==		==Verlustbehaftete Quellencodierung für Audiosignale==
	<br>		<br>
	Ein erstes Beispiel für die Quellencodierung für Sprache und Musik ist die 1938 erfundene  [https://de.wikipedia.org/wiki/Puls-Code-Modulation Pulscodemodulation]  (PCM), die aus einem analogen Quellensignal  $q(t)$  die Codesymbolfolge  $〈c_ν〉$  extrahiert, entsprechend den drei Verarbeitungsblöcken		Ein erstes Beispiel für die Quellencodierung für Sprache und Musik ist die 1938 erfundene  [https://de.wikipedia.org/wiki/Puls-Code-Modulation Pulscodemodulation]  $\rm (PCM)$, die aus einem analogen Quellensignal  $q(t)$  die Codesymbolfolge  $〈c_ν〉$  extrahiert, entsprechend den drei Verarbeitungsblöcken
	[[Datei:P_ID2925__Mod_T_4_1_S1_neu.png\|right\|frame\|Prinzip der Pulscodemodulation (PCM)]]		[[Datei:P_ID2925__Mod_T_4_1_S1_neu.png\|right\|frame\|Prinzip der Pulscodemodulation (PCM)]]
	*Abtastung,		*Abtastung,
Zeile 116:		Zeile 116:


	Die Grafik verdeutlicht das PCM–Prinzip.  Eine ausführliche ~~Bildbeschreibung~~ findet man auf den ersten Seiten des Kapitels  [[Modulationsverfahren/Pulscodemodulation\|Pulscodemodulation]]  im Buch&bdquo;Modulationsverfahren”.		Die Grafik verdeutlicht das PCM–Prinzip.  Eine ausführliche Beschreibung findet man auf den ersten Seiten des Kapitels  [[Modulationsverfahren/Pulscodemodulation\|Pulscodemodulation]]  im Buch &bdquo;Modulationsverfahren”.


Zeile 139:		Zeile 139:
	{{GraueBox\|TEXT=		{{GraueBox\|TEXT=
	$\text{Beispiel 3:}$		$\text{Beispiel 3:}$
	Der Standard  [[Beispiele_von_Nachrichtensystemen/Allgemeine_Beschreibung_von_ISDN\|ISDN]]  (''Integrated Services Digital Network'' ) für Telefonie über Zweidrahtleitung basiert ebenfalls auf dem PCM–Prinzip, wobei jedem Teilnehmer zwei B–Kanäle  (''Bearer Channels~~'' ~~)  mit je  $64 \, \rm kbit/s$   ⇒   $M = 2^{8} = 256$  und ein D–Kanal  (''Data Channel~~'' ~~)  mit  $ 16 \, \rm kbit/s$  zur Verfügung gestellt wird.		Der Standard  [[Beispiele_von_Nachrichtensystemen/Allgemeine_Beschreibung_von_ISDN\|ISDN]]  ("Integrated Services Digital Network")  für Telefonie über Zweidrahtleitung basiert ebenfalls auf dem PCM–Prinzip, wobei jedem Teilnehmer zwei B–Kanäle  ("Bearer Channels")  mit je  $64 \, \rm kbit/s$   ⇒   $M = 2^{8} = 256$  und ein D–Kanal  ("Data Channel")  mit  $ 16 \, \rm kbit/s$  zur Verfügung gestellt wird.
	*Die Nettodatenrate beträgt somit  $R_{\rm Netto} = 144 \, \rm kbit/s$.		*Die Nettodatenrate beträgt somit
	*Unter Berücksichtigung der Kanalcodierung und der Steuerbits (aus organisatorischen Gründen erforderlich) kommt man auf die ISDN–Bruttodatenrate von  $R_{\rm Brutto} = 192 \, \rm kbit/s$.}}		:$$R_{\rm Netto} = 144 \, \rm kbit/s.$$
			*Unter Berücksichtigung der Kanalcodierung und der Steuerbits (aus organisatorischen Gründen erforderlich) kommt man auf die ISDN–Bruttodatenrate von
			:$$R_{\rm Brutto} = 192 \, \rm kbit/s.$$}}


	Im Mobilfunk konnten sehr große Datenraten ~~oft~~ (noch) nicht bewältigt werden.  Hier wurden in den 1990er–Jahren Sprachcodierverfahren entwickelt, die zu einer Datenkomprimierung um den Faktor  $8$  und mehr führten.  Zu erwähnen sind aus heutiger Sicht:		Im Mobilfunk konnten anfangs sehr große Datenraten (noch) nicht bewältigt werden.  Hier wurden in den 1990er–Jahren Sprachcodierverfahren entwickelt, die zu einer Datenkomprimierung um den Faktor  $8$  und mehr führten.  Zu erwähnen sind aus heutiger Sicht:
	*~~der~~  [[Beispiele_von_Nachrichtensystemen/Sprachcodierung#Halfrate_Vocoder_und_Enhanced_Fullrate_Codec\|Enhanced Full–Rate Codec]]  (~~'''~~EFR~~'''~~), der pro Sprachrahmen von  $20\, \rm ms$  genau  $244 \, \rm Bit$  extrahiert  $($Datenrate:  $12.2 \, \rm kbit/s)$; <br>erreicht wird diese Datenkomprimierung um mehr als den Faktor  $8$  durch die Aneinanderreihung mehrerer Verfahren:		*Der  [[Beispiele_von_Nachrichtensystemen/Sprachcodierung#Halfrate_Vocoder_und_Enhanced_Fullrate_Codec\|Enhanced Full–Rate Codec]]  $\rm (EFR)$, der pro Sprachrahmen von  $20\, \rm ms$  genau  $244 \, \rm Bit$  extrahiert  $($Datenrate:  $12.2 \, \rm kbit/s)$; <br>erreicht wird diese Datenkomprimierung um mehr als den Faktor  $8$  durch die Aneinanderreihung mehrerer Verfahren:
	:#  ''Linear Predictive Coding''  (~~'''~~LPC~~'''~~, Kurzzeitprädiktion),		:#  "Linear Predictive Coding"  $\rm (LPC$,  Kurzzeitprädiktion$)$,
	:#  ''Long Term Prediction''  (~~'''~~LTP~~'''~~, Langzeitprädiktion) ~~und~~		:#  "Long Term Prediction"  $\rm (LTP$,  Langzeitprädiktion$)$,
	:#  ''Regular Pulse Excitation''  (~~'''~~RPE~~'''~~);		:#  "Regular Pulse Excitation"  $\rm (RPE)$.
	*~~der~~  [[Beispiele_von_Nachrichtensystemen/Sprachcodierung#Adaptive_Multi.E2.80.93Rate_Codec\|Adaptive Multi–Rate Codec]]  (~~'''~~AMR~~'''~~), der auf  [[Beispiele_von_Nachrichtensystemen/Sprachcodierung#Algebraic_Code_Excited_Linear_Prediction\|ACELP]]  (''Algebraic Code Excited Linear Prediction'') basiert und mehrere Modi zwischen  $12.2 \, \rm kbit/s$  (EFR) und  $4.75 \, \rm kbit/s$  bereit stellt, so dass bei schlechterer Kanalqualität eine verbesserte Kanalcodierung eingesetzt werden kann;		*Der  [[Beispiele_von_Nachrichtensystemen/Sprachcodierung#Adaptive_Multi.E2.80.93Rate_Codec\|Adaptive Multi–Rate Codec]]  $\rm (AMR)$, der auf  [[Beispiele_von_Nachrichtensystemen/Sprachcodierung#Algebraic_Code_Excited_Linear_Prediction\|$\rm ACELP$]]  ("Algebraic Code Excited Linear Prediction") basiert und mehrere Modi zwischen  $12.2 \, \rm kbit/s$  $\rm (EFR)$  und  $4.75 \, \rm kbit/s$  bereit stellt, so dass bei schlechterer Kanalqualität eine verbesserte Kanalcodierung eingesetzt werden kann.
	*~~der~~  [[Beispiele_von_Nachrichtensystemen/Sprachcodierung#Verschiedene_Sprachcodierverfahren\|Wideband–AMR]]  (~~'''WB–AMR'''~~) mit neun Modi zwischen  $6.6 \, \rm kbit/s$  und  $23.85 \, \rm kbit/s$.  Dieser wird bei  [[Beispiele_von_Nachrichtensystemen/Allgemeine_Beschreibung_von_UMTS\|UMTS]]  eingesetzt und ist für breitbandigere Signale zwischen  $200 \, \rm Hz$  und  $7 \, \rm kHz$  geeignet.  Die Abtastung erfolgt mit  $16 \, \rm kHz$, die Quantisierung mit  $4 \, \rm Bit$.		*Der  [[Beispiele_von_Nachrichtensystemen/Sprachcodierung#Verschiedene_Sprachcodierverfahren\|Wideband–AMR]]  $\rm (WB-AMR)$  mit neun Modi zwischen  $6.6 \, \rm kbit/s$  und  $23.85 \, \rm kbit/s$.  Dieser wird bei  [[Beispiele_von_Nachrichtensystemen/Allgemeine_Beschreibung_von_UMTS\|UMTS]]  eingesetzt und ist für breitbandigere Signale zwischen  $200 \, \rm Hz$  und  $7 \, \rm kHz$  geeignet.  Die Abtastung erfolgt mit  $16 \, \rm kHz$, die Quantisierung mit  $4 \, \rm Bit$.

Guenter am 25. Juni 2021 um 13:25 Uhr

2021-06-25T13:25:02Z

Änderungen zeigen

Guenter am 21. Januar 2020 um 16:22 Uhr

2020-01-21T16:22:00Z

Änderungen zeigen

Guenter am 20. Januar 2020 um 09:31 Uhr

2020-01-20T09:31:04Z

Änderungen zeigen