Informationstheorie/Natürliche wertdiskrete Nachrichtenquellen - Versionsgeschichte

Maintenance script: Add English interlanguage link

2026-03-16T12:27:28Z

Add English interlanguage link

← Nächstältere Version		Version vom 16. März 2026, 14:27 Uhr
Zeile 178:		Zeile 178:

	{{Display}}		{{Display}}
			[[en:Information_Theory/Natural_Discrete_Sources]]

Maintenance script: Join multi-line formulas for MW 1.43 parser compat

2026-02-24T13:37:47Z

Join multi-line formulas for MW 1.43 parser compat

← Nächstältere Version		Version vom 24. Februar 2026, 15:37 Uhr
Zeile 46:		Zeile 46:
	'''(2)'''  Hinsichtlich der  '''Silbenhäufigkeit'''  wertet Küpfmüller das von  [https://de.wikipedia.org/wiki/Friedrich_Wilhelm_Kaeding Friedrich Wilhelm Kaeding]  1898 herausgegebene „Häufigkeitswörterbuch der deutschen Sprache” aus.  Er unterscheidet zwischen Stammsilben, Vorsilben und Endsilben und kommt so zum mittleren Informationsgehalt aller Silben:		'''(2)'''  Hinsichtlich der  '''Silbenhäufigkeit'''  wertet Küpfmüller das von  [https://de.wikipedia.org/wiki/Friedrich_Wilhelm_Kaeding Friedrich Wilhelm Kaeding]  1898 herausgegebene „Häufigkeitswörterbuch der deutschen Sprache” aus.  Er unterscheidet zwischen Stammsilben, Vorsilben und Endsilben und kommt so zum mittleren Informationsgehalt aller Silben:

	:$$H_{\rm Silbe} = \hspace{-0.1cm} H_{\rm Stamm} + H_{\rm Vor} + H_{\rm End} + H_{\rm Rest} \approx		:$$H_{\rm Silbe} = \hspace{-0.1cm} H_{\rm Stamm} + H_{\rm Vor} + H_{\rm End} + H_{\rm Rest} \approx 4.15 + 0.82+1.62 + 2.0 \approx 8.6\,\, {\rm bit/Silbe}\hspace{0.05cm}.$$
	4.15 + 0.82+1.62 + 2.0 \approx 8.6\,\, {\rm bit/Silbe}
	\hspace{0.05cm}.$$

	:Hierbei wurden folgende Anteile berücksichtigt:		:Hierbei wurden folgende Anteile berücksichtigt:

Maintenance script: Domain migration: replace www.lntwww.de with relative paths

2026-02-24T13:11:32Z

Domain migration: replace www.lntwww.de with relative paths

← Nächstältere Version		Version vom 24. Februar 2026, 15:11 Uhr
Zeile 109:		Zeile 109:
	<br>		<br>
	Die Angaben von Karl Küpfmüller hinsichtlich der Entropie der deutschen Sprache sollen nun mit einigen (sehr einfachen) Simulationsergebnissen verglichen werden, die vom Autor dieses Kapitels (Günter Söder) am Lehrstuhl für Nachrichtentechnik der Technischen Universität München im Rahmen eines Praktikums erarbeitet wurden.  Die Resultate basieren auf		Die Angaben von Karl Küpfmüller hinsichtlich der Entropie der deutschen Sprache sollen nun mit einigen (sehr einfachen) Simulationsergebnissen verglichen werden, die vom Autor dieses Kapitels (Günter Söder) am Lehrstuhl für Nachrichtentechnik der Technischen Universität München im Rahmen eines Praktikums erarbeitet wurden.  Die Resultate basieren auf
	*dem Windows-Programm  [~~http://www.lntwww.de~~/downloads/Sonstiges/Programme/WDIT.zip WDIT]  ⇒  der Link verweist auf die ZIP-Version des Programms;		*dem Windows-Programm  [/downloads/Sonstiges/Programme/WDIT.zip WDIT]  ⇒  der Link verweist auf die ZIP-Version des Programms;
	*der zugehörigen Praktikumsanleitung  [~~http://www.lntwww.de~~/downloads/Sonstiges/Texte/Wertdiskrete_Informationstheorie.pdf Wertdiskrete Informationstheorie]   ⇒   der Link verweist auf die PDF-Version;		*der zugehörigen Praktikumsanleitung  [/downloads/Sonstiges/Texte/Wertdiskrete_Informationstheorie.pdf Wertdiskrete Informationstheorie]   ⇒   der Link verweist auf die PDF-Version;
	*der deutschen Bibel im ASCII–Format mit  $N \approx 4.37 \cdot 10^6$  Zeichen. Dies entspricht einem Buch mit  $1300$  Seiten bei  $42$  Zeilen pro Seite und  $80$  Zeichen pro Zeile.		*der deutschen Bibel im ASCII–Format mit  $N \approx 4.37 \cdot 10^6$  Zeichen. Dies entspricht einem Buch mit  $1300$  Seiten bei  $42$  Zeilen pro Seite und  $80$  Zeichen pro Zeile.

Guenter am 30. Juni 2021 um 11:27 Uhr

2021-06-30T11:27:37Z

← Nächstältere Version		Version vom 30. Juni 2021, 13:27 Uhr
Zeile 125:		Zeile 125:
	Die nachfolgende Tabelle fasst die Ergebnisse zusammen.  $N$  bezeichnet die jeweils analysierte Dateigröße in Schriftzeichen (Byte).  Der Entscheidungsgehalt  $H_0$  sowie die Entropienäherungen  $H_1$,  $H_2$  und  $H_3$  wurden jeweils aus  $N$  Schriftzeichen ermittelt und sind jeweils in &bdquo;bit/Schriftzeichen” angegeben.		Die nachfolgende Tabelle fasst die Ergebnisse zusammen.  $N$  bezeichnet die jeweils analysierte Dateigröße in Schriftzeichen (Byte).  Der Entscheidungsgehalt  $H_0$  sowie die Entropienäherungen  $H_1$,  $H_2$  und  $H_3$  wurden jeweils aus  $N$  Schriftzeichen ermittelt und sind jeweils in &bdquo;bit/Schriftzeichen” angegeben.

	[[Datei:~~EN_Inf_T_1_3_S3_v2~~.png\|left\|frame\|Entropiewerte (in bit/Schriftzeichen) der deutschen Bibel]]		[[Datei:Inf_T_1_3_S3.png\|left\|frame\|Entropiewerte (in bit/Schriftzeichen) der deutschen Bibel]]
	<br>		<br>
	*Betrachten Sie diese Ergebnisse bitte nicht als wissenschaftliche Untersuchung.		*Betrachten Sie diese Ergebnisse bitte nicht als wissenschaftliche Untersuchung.

Guenter am 30. Juni 2021 um 11:19 Uhr

2021-06-30T11:19:06Z

← Nächstältere Version		Version vom 30. Juni 2021, 13:19 Uhr
Zeile 125:		Zeile 125:
	Die nachfolgende Tabelle fasst die Ergebnisse zusammen.  $N$  bezeichnet die jeweils analysierte Dateigröße in Schriftzeichen (Byte).  Der Entscheidungsgehalt  $H_0$  sowie die Entropienäherungen  $H_1$,  $H_2$  und  $H_3$  wurden jeweils aus  $N$  Schriftzeichen ermittelt und sind jeweils in &bdquo;bit/Schriftzeichen” angegeben.		Die nachfolgende Tabelle fasst die Ergebnisse zusammen.  $N$  bezeichnet die jeweils analysierte Dateigröße in Schriftzeichen (Byte).  Der Entscheidungsgehalt  $H_0$  sowie die Entropienäherungen  $H_1$,  $H_2$  und  $H_3$  wurden jeweils aus  $N$  Schriftzeichen ermittelt und sind jeweils in &bdquo;bit/Schriftzeichen” angegeben.

	[[Datei:~~Inf_T_1_3_S3_vers2~~.png\|left\|frame\|Entropiewerte (in bit/Schriftzeichen) der deutschen Bibel]]		[[Datei:EN_Inf_T_1_3_S3_v2.png\|left\|frame\|Entropiewerte (in bit/Schriftzeichen) der deutschen Bibel]]
	<br>		<br>
	*Betrachten Sie diese Ergebnisse bitte nicht als wissenschaftliche Untersuchung.		*Betrachten Sie diese Ergebnisse bitte nicht als wissenschaftliche Untersuchung.

Guenter am 22. Juni 2021 um 12:35 Uhr

2021-06-22T12:35:13Z

← Nächstältere Version		Version vom 22. Juni 2021, 14:35 Uhr
Zeile 19:		Zeile 19:


	Theoretisch könnte man auch hier die Entropie entsprechend der Vorgehensweise  [[Informationstheorie/Nachrichtenquellen_mit_Gedächtnis#Verallgemeinerung_auf_.7F.27.22.60UNIQ-~~MathJax108~~-QINU.60.22.27.7F.E2.80.93Tupel_und_Grenz.C3.BCbergang\|im letzten Kapitel]]  als den Grenzübergang der Entropienäherung  $H_k$  für  $k \to \infty$  ermitteln.  Praktisch ergeben sich aber nach dieser Rezeptur unüberwindbare numerische Grenzen:		Theoretisch könnte man auch hier die Entropie entsprechend der Vorgehensweise  [[Informationstheorie/Nachrichtenquellen_mit_Gedächtnis#Verallgemeinerung_auf_.7F.27.22.60UNIQ-MathJax109-QINU.60.22.27.7F.E2.80.93Tupel_und_Grenz.C3.BCbergang\|im letzten Kapitel]]  als den Grenzübergang der Entropienäherung  $H_k$  für  $k \to \infty$  ermitteln.  Praktisch ergeben sich aber nach dieser Rezeptur unüberwindbare numerische Grenzen:
	*Bereits für die Entropienäherung  $H_2$  gibt es  $M^2 = 256^2 = 65\hspace{0.1cm}536$  mögliche Zweiertupel.  Für die Berechnung sind somit ebenso viele Speicherplätze (in Byte) erforderlich.  Geht man davon aus, dass man für eine ausreichend sichere Statistik im Mittel  $100$  Entsprechungen pro Tupel benötigt, so sollte die Länge der Quellensymbolfolge bereits  $N > 6.5 · 10^6$  sein.		*Bereits für die Entropienäherung  $H_2$  gibt es  $M^2 = 256^2 = 65\hspace{0.1cm}536$  mögliche Zweiertupel.  Für die Berechnung sind somit ebenso viele Speicherplätze (in Byte) erforderlich.  Geht man davon aus, dass man für eine ausreichend sichere Statistik im Mittel  $100$  Entsprechungen pro Tupel benötigt, so sollte die Länge der Quellensymbolfolge bereits  $N > 6.5 · 10^6$  sein.
	*Die Anzahl der möglichen Dreiertupel ist  $M^3 > 16 · 10^7$  und damit ist die erforderliche Quellensymbollänge schon  $N > 1.6 · 10^9$.  Dies entspricht bei  $42$  Zeilen pro Seite und  $80$  Zeichen pro Zeile einem Buch mit etwa  $500\hspace{0.1cm}000$  Seiten.		*Die Anzahl der möglichen Dreiertupel ist  $M^3 > 16 · 10^7$  und damit ist die erforderliche Quellensymbollänge schon  $N > 1.6 · 10^9$.  Dies entspricht bei  $42$  Zeilen pro Seite und  $80$  Zeichen pro Zeile einem Buch mit etwa  $500\hspace{0.1cm}000$  Seiten.

Guenter am 22. Juni 2021 um 12:34 Uhr

2021-06-22T12:34:02Z

← Nächstältere Version		Version vom 22. Juni 2021, 14:34 Uhr
Zeile 147:		Zeile 147:
	==Synthetisch erzeugte Texte ==		==Synthetisch erzeugte Texte ==
	<br>		<br>
	In der Grafik sind künstlich erzeugte deutsche und englische Texte angegeben, die aus  [Küpf54]<ref name ='Küpf54'>Küpfmüller, K.: ''Die Entropie der deutschen Sprache''. Fernmeldetechnische Zeitung 7, 1954, S. 265-272.</ref>  entnommen ~~wurden~~. Der zugrundeliegende Symbolumfang ist  $M = 27$,  das heißt, berücksichtigt sind alle Buchstaben  (ohne Umlaute und '''ß''')  sowie das Leerzeichen.		In der Grafik sind künstlich erzeugte deutsche und englische Texte angegeben, die aus  [Küpf54]<ref name ='Küpf54'>Küpfmüller, K.: ''Die Entropie der deutschen Sprache''. Fernmeldetechnische Zeitung 7, 1954, S. 265-272.</ref>  entnommen sind.  Der zugrundeliegende Symbolumfang ist  $M = 27$,  das heißt, berücksichtigt sind alle Buchstaben  (auch bei &bdquo;Deutsch” ohne Umlaute und '''ß''')  sowie das Leerzeichen.

	[[Datei:Inf_T_1_3_S4_vers2.png\|right\|frame\|Künstlich erzeugte deutsche und englische Texte]]		[[Datei:Inf_T_1_3_S4_vers2.png\|right\|frame\|Künstlich erzeugte deutsche und englische Texte]]

	*Die  ''Buchstabennäherung nullter Ordnung''  geht jeweils von gleichwahrscheinlichen Zeichen aus.  Es gibt deshalb keinen Unterschied zwischen Deutsch (rot) und Englisch (blau).		*Die  &bdquo;Buchstabennäherung nullter Ordnung”  geht jeweils von gleichwahrscheinlichen Zeichen aus.  Es gibt deshalb keinen Unterschied zwischen Deutsch (rot) und Englisch (blau).


	*Die  ''erste Buchstabennäherung''  berücksichtigt bereits die unterschiedlichen Häufigkeiten, die Näherungen höherer Ordnung auch die vorangegangenen Zeichen.		*Die  &bdquo;erste Buchstabennäherung”  berücksichtigt bereits die unterschiedlichen Häufigkeiten, die Näherungen höherer Ordnung auch die vorangegangenen Zeichen.


	*Bei der  ''Synthese 4. Ordnung''  erkennt man schon sinnhafte Worte.  Hier hängt die Wahrscheinlichkeit für einen neuen Buchstaben von den drei letzten Zeichen ab.		*Bei der  &bdquo;Synthese 4. Ordnung”  erkennt man schon sinnhafte Worte.  Hier hängt die Wahrscheinlichkeit für einen neuen Buchstaben von den drei letzten ausgewählten Zeichen ab.


	*Die  ''Wortnäherung erster Ordnung''  synthetisiert Sätze gemäß den Wortwahrscheinlichkeiten~~, die~~  ''Wortnäherung zweiter Ordnung''  berücksichtigt auch das vorherige Wort.		*Die  &bdquo;Wortnäherung erster Ordnung”  synthetisiert Sätze gemäß den Wortwahrscheinlichkeiten. Die  &bdquo;Wortnäherung zweiter Ordnung”  berücksichtigt auch das vorherige Wort.

Guenter am 21. Juni 2021 um 17:22 Uhr

2021-06-21T17:22:54Z

← Nächstältere Version		Version vom 21. Juni 2021, 19:22 Uhr
Zeile 44:		Zeile 44:
	:$$H_1 \approx 4.1\,\, {\rm bit/Buchstabe}\hspace{0.05 cm}.$$		:$$H_1 \approx 4.1\,\, {\rm bit/Buchstabe}\hspace{0.05 cm}.$$


	'''(2)'''  Hinsichtlich der  '''Silbenhäufigkeit'''  wertet Küpfmüller das von  [https://de.wikipedia.org/wiki/Friedrich_Wilhelm_Kaeding Friedrich Wilhelm Kaeding]  1898 herausgegebene „Häufigkeitswörterbuch der deutschen Sprache” aus.  Er unterscheidet zwischen Stammsilben, Vorsilben und Endsilben und kommt so zum mittleren Informationsgehalt aller Silben:		'''(2)'''  Hinsichtlich der  '''Silbenhäufigkeit'''  wertet Küpfmüller das von  [https://de.wikipedia.org/wiki/Friedrich_Wilhelm_Kaeding Friedrich Wilhelm Kaeding]  1898 herausgegebene „Häufigkeitswörterbuch der deutschen Sprache” aus.  Er unterscheidet zwischen Stammsilben, Vorsilben und Endsilben und kommt so zum mittleren Informationsgehalt aller Silben:

Guenter am 21. Juni 2021 um 15:55 Uhr

2021-06-21T15:55:09Z

← Nächstältere Version		Version vom 21. Juni 2021, 17:55 Uhr
Zeile 10:		Zeile 10:
	Bisher haben wir uns ausschließlich mit künstlich erzeugten Symbolfolgen beschäftigt.  Nun betrachten wir geschriebene Texte.  Ein solcher Text kann als eine natürliche wertdiskrete Nachrichtenquelle aufgefasst werden, die natürlich auch informationstheoretisch analysiert werden kann, indem man ihre Entropie ermittelt.		Bisher haben wir uns ausschließlich mit künstlich erzeugten Symbolfolgen beschäftigt.  Nun betrachten wir geschriebene Texte.  Ein solcher Text kann als eine natürliche wertdiskrete Nachrichtenquelle aufgefasst werden, die natürlich auch informationstheoretisch analysiert werden kann, indem man ihre Entropie ermittelt.

	Natürliche Texte werden auch in heutiger Zeit (2011) noch oft mit dem 8 Bit–Zeichensatz nach ANSI (''American National Standard Institute'') dargestellt, obwohl es etliche „modernere” Codierungen gibt.		Natürliche Texte werden auch in heutiger Zeit (2011) noch oft mit dem 8 Bit–Zeichensatz nach ANSI  ("American National Standard Institute")  dargestellt, obwohl es etliche „modernere” Codierungen gibt.

	Die  $M = 2^8 = 256$  ANSI–Zeichen sind dabei wie folgt belegt:		Die  $M = 2^8 = 256$  ANSI–Zeichen sind dabei wie folgt belegt:
Zeile 16:		Zeile 16:
	* '''Nr.  32   bis  127''':   identisch mit den Zeichen des 7 Bit–ASCII–Codes,		* '''Nr.  32   bis  127''':   identisch mit den Zeichen des 7 Bit–ASCII–Codes,
	* '''Nr.  128   bis 159''':   weitere Steuerzeichen bzw. Alphanumerikzeichen für Windows,		* '''Nr.  128   bis 159''':   weitere Steuerzeichen bzw. Alphanumerikzeichen für Windows,
	* '''Nr.  160   bis   255''':   identisch ~~mitden~~ Unicode–Charts.		* '''Nr.  160   bis   255''':   identisch mit den Unicode–Charts.


Zeile 22:		Zeile 22:
	*Bereits für die Entropienäherung  $H_2$  gibt es  $M^2 = 256^2 = 65\hspace{0.1cm}536$  mögliche Zweiertupel.  Für die Berechnung sind somit ebenso viele Speicherplätze (in Byte) erforderlich.  Geht man davon aus, dass man für eine ausreichend sichere Statistik im Mittel  $100$  Entsprechungen pro Tupel benötigt, so sollte die Länge der Quellensymbolfolge bereits  $N > 6.5 · 10^6$  sein.		*Bereits für die Entropienäherung  $H_2$  gibt es  $M^2 = 256^2 = 65\hspace{0.1cm}536$  mögliche Zweiertupel.  Für die Berechnung sind somit ebenso viele Speicherplätze (in Byte) erforderlich.  Geht man davon aus, dass man für eine ausreichend sichere Statistik im Mittel  $100$  Entsprechungen pro Tupel benötigt, so sollte die Länge der Quellensymbolfolge bereits  $N > 6.5 · 10^6$  sein.
	*Die Anzahl der möglichen Dreiertupel ist  $M^3 > 16 · 10^7$  und damit ist die erforderliche Quellensymbollänge schon  $N > 1.6 · 10^9$.  Dies entspricht bei  $42$  Zeilen pro Seite und  $80$  Zeichen pro Zeile einem Buch mit etwa  $500\hspace{0.1cm}000$  Seiten.		*Die Anzahl der möglichen Dreiertupel ist  $M^3 > 16 · 10^7$  und damit ist die erforderliche Quellensymbollänge schon  $N > 1.6 · 10^9$.  Dies entspricht bei  $42$  Zeilen pro Seite und  $80$  Zeichen pro Zeile einem Buch mit etwa  $500\hspace{0.1cm}000$  Seiten.
	*Bei einem natürlichen Text reichen die statistischen Bindungen aber sehr viel weiter als über zwei oder drei Zeichen.  Küpfmüller gibt für die deutsche Sprache einen Wert von  $100$  an.  Zur Ermittlung der 100. Entropienäherung benötigt man aber  $2^{800}~~$ ≈ $10~~^{240}$  Häufigkeiten und für die gesicherte Statistik nochmals um den Faktor  $100$  mehr Zeichen.		*Bei einem natürlichen Text reichen die statistischen Bindungen aber sehr viel weiter als über zwei oder drei Zeichen.  Küpfmüller gibt für die deutsche Sprache einen Wert von  $100$  an.  Zur Ermittlung der 100. Entropienäherung benötigt man aber  $2^{800}\approx10^{240}$  Häufigkeiten und für die gesicherte Statistik nochmals um den Faktor  $100$  mehr Zeichen.


Zeile 41:		Zeile 41:


	'''(1)'''  Die  '''erste Entropienäherung'''  ergibt sich aus den Buchstabenhäufigkeiten in deutschen Texten.  Nach einer Studie von 1939 ist „e” mit  $16.7\%$  am häufigsten, am seltensten ist „x” mit  $0.02\%$.  Über alle Buchstaben gemittelt ergibt sich  $H_1 \approx 4.1\,\, {\rm bit/Buchstabe}\hspace{0.05 cm}.$		'''(1)'''  Die  '''erste Entropienäherung'''  ergibt sich aus den Buchstabenhäufigkeiten in deutschen Texten.  Nach einer Studie von 1939 ist „e” mit  $16.7\%$  am häufigsten, am seltensten ist „x” mit  $0.02\%$.  Über alle Buchstaben gemittelt ergibt sich
			:$$H_1 \approx 4.1\,\, {\rm bit/Buchstabe}\hspace{0.05 cm}.$$


Zeile 68:		Zeile 69:


	'''(5)'''  Die Auszählung &bdquo;Buchstaben pro Wort” ergab im Mittel  $5.5$.  Analog zu Punkt  '''(3)'''  wurde so die Entropienäherung für  $k = 5.5$  angenähert. Küpfmüller gibt hierfür ~~den Wert ~~ $H_{5.5} \approx {11}/{5.5}\approx 2\,\, {\rm bit/Buchstabe}\hspace{0.05 cm}.$~~ ~~ Natürlich kann  $k$  gemäß  [[Informationstheorie/Nachrichtenquellen_mit_Gedächtnis#Verallgemeinerung_auf_.7F.27.22.60UNIQ-MathJax109-QINU.60.22.27.7F.E2.80.93Tupel_und_Grenz.C3.BCbergang\|seiner Definition]]  nur ganzzahlige Werte annehmen.  Diese Gleichung ist deshalb so zu interpretieren, dass sich für  $H_5$  ein etwas größerer und für  $H_6$  ein etwas kleinerer Wert als  $2 \ {\rm bit/Buchstabe}$  ergeben wird.		'''(5)'''  Die Auszählung &bdquo;Buchstaben pro Wort” ergab im Mittel  $5.5$.  Analog zu Punkt  '''(3)'''  wurde so die Entropienäherung für  $k = 5.5$  angenähert. Küpfmüller gibt hierfür an:
			:$$H_{5.5} \approx {11}/{5.5}\approx 2\,\, {\rm bit/Buchstabe}\hspace{0.05 cm}.$$
			:Natürlich kann  $k$  gemäß  [[Informationstheorie/Nachrichtenquellen_mit_Gedächtnis#Verallgemeinerung_auf_.7F.27.22.60UNIQ-MathJax109-QINU.60.22.27.7F.E2.80.93Tupel_und_Grenz.C3.BCbergang\|seiner Definition]]  nur ganzzahlige Werte annehmen.  Diese Gleichung ist deshalb so zu interpretieren, dass sich für  $H_5$  ein etwas größerer und für  $H_6$  ein etwas kleinerer Wert als  $2 \ {\rm bit/Buchstabe}$  ergeben wird.


	[[Datei:P_ID2303__Inf_T_1_3_S2.png\|right\|frame\|Näherungswerte der Entropie der deutschen Sprache nach Küpfmüller]]		[[Datei:P_ID2303__Inf_T_1_3_S2.png\|right\|frame\|Näherungswerte der Entropie der deutschen Sprache nach Küpfmüller]]
	'''(6)'''  Man kann nun versuchen, aus diesen drei Punkten durch Extrapolation den Endwert der Entropie für  $k \to \infty$  zu ermitteln.  In nebenstehender Grafik wird dies bei logarithmisch aufgetragener Abszisse verdeutlicht:		'''(6)'''  Man kann nun versuchen, aus diesen drei Punkten  $H_1$,  $H_3$,  $H_{5.5}$  durch Extrapolation den Endwert der Entropie für  $k \to \infty$  zu ermitteln.  In nebenstehender Grafik wird dies bei logarithmisch aufgetragener Abszisse verdeutlicht:
	:*Die durchgehende Linie ist der Küpfmüllerschen Originalarbeit  [Küpf54]<ref name ='Küpf54'>Küpfmüller, K.: ''Die Entropie der deutschen Sprache''. Fernmeldetechnische Zeitung 7, 1954, S. 265-272.</ref>  entnommen und führt zum Entropie-Endwert  $H = 1.6 \ \rm bit/Buchstabe$.		:*Die durchgehende Linie ist der Küpfmüllerschen Originalarbeit  [Küpf54]<ref name ='Küpf54'>Küpfmüller, K.: ''Die Entropie der deutschen Sprache''. Fernmeldetechnische Zeitung 7, 1954, S. 265-272.</ref>  entnommen und führt zum Entropie-Endwert  $H = 1.6 \ \rm bit/Buchstabe$.
	:*Die grünen Kurven sind zwei Extrapolationsversuche (eines kontinuierlichen Funktionsverlaufes durch drei Punkte) des  $\rm LNTwww$–Autors.		:*Die grünen Kurven sind zwei Extrapolationsversuche (eines kontinuierlichen Funktionsverlaufes durch drei Punkte) des  $\rm LNTwww$–Autors.
Zeile 78:		Zeile 81:


	'''(7)'''  Küpfmüller versuchte anschließend, den von ihm mit dieser ersten Abschätzung gefundenen Endwert  $H = 1.6 \ \rm bit/Buchstabe$  mit völlig anderer Methodik – siehe nächster Abschnitt – zu verifizieren. Nach dieser Abschätzung revidierte er sein Ergebnis geringfügig auf  $H = 1.51 \ \rm bit/Buchstabe$.		'''(7)'''  Küpfmüller versuchte anschließend, den von ihm mit dieser ersten Abschätzung gefundenen Endwert  $H = 1.6 \ \rm bit/Buchstabe$  mit völlig anderer Methodik – siehe nächster Abschnitt – zu verifizieren. Nach dieser Abschätzung revidierte er sein Ergebnis geringfügig auf
			:$$H = 1.51 \ \rm bit/Buchstabe.$$


Zeile 84:		Zeile 88:

	:*Der Korrekturfaktor ist der Quotient aus der mittleren Wortlänge ohne Berücksichtigung des Leerzeichens  $(5.5)$  und der mittleren Wortlänge mit Berücksichtigung des Leerzeichens  $(5.5+1 = 6.5)$.		:*Der Korrekturfaktor ist der Quotient aus der mittleren Wortlänge ohne Berücksichtigung des Leerzeichens  $(5.5)$  und der mittleren Wortlänge mit Berücksichtigung des Leerzeichens  $(5.5+1 = 6.5)$.
	:*Diese Korrektur führte zu Küpfmüllers endgültigem Ergebnis  $H =1.51 \cdot {5.5}/{6.5}\approx 1.3\,\, {\rm bit/Buchstabe}\hspace{0.05 cm}.$		:*Diese Korrektur führte zu Küpfmüllers endgültigem Ergebnis:
			:$$H =1.51 \cdot {5.5}/{6.5}\approx 1.3\,\, {\rm bit/Buchstabe}\hspace{0.05 cm}.$$

Guenter am 18. Januar 2020 um 10:44 Uhr

2020-01-18T10:44:11Z

← Nächstältere Version		Version vom 18. Januar 2020, 12:44 Uhr
Zeile 130:		Zeile 130:
	*In allen Zeilen nehmen die Entropienäherungen  $H_k$  mit wachsendem  $k$  monoton ab.  Der Abfall verläuft konvex, das heißt, es ist  $H_1 - H_2 > H_2 - H_3$.  Die Extrapolation des Endwertes  $(k \to \infty)$  ist aus den jeweils ermittelten drei Entropienäherungen nicht (oder nur äußerst vage) möglich.		*In allen Zeilen nehmen die Entropienäherungen  $H_k$  mit wachsendem  $k$  monoton ab.  Der Abfall verläuft konvex, das heißt, es ist  $H_1 - H_2 > H_2 - H_3$.  Die Extrapolation des Endwertes  $(k \to \infty)$  ist aus den jeweils ermittelten drei Entropienäherungen nicht (oder nur äußerst vage) möglich.
	*Verzichtet man auf die Auswertung der Ziffern  $(\rm ZI$, Zeile 2   ⇒   $M = 32)$  und zusätzlich auf die Auswertung der Interpunktionszeichen  $(\rm IP$, Zeile 3   ⇒   $M = 31)$, so nehmen die Entropienäherungen  $H_1$  $($um  $0.114)$,  $H_2$  $($um  $0.063)$  und  $H_3$  $($um  $0.038)$  ab.  Auf den Endwert  $H$  als dem Grenzwert von  $H_k$  für  $k \to \infty$  wirkt sich der Verzicht auf Ziffern und Interpunktion voraussichtlich kaum aus.		*Verzichtet man auf die Auswertung der Ziffern  $(\rm ZI$, Zeile 2   ⇒   $M = 32)$  und zusätzlich auf die Auswertung der Interpunktionszeichen  $(\rm IP$, Zeile 3   ⇒   $M = 31)$, so nehmen die Entropienäherungen  $H_1$  $($um  $0.114)$,  $H_2$  $($um  $0.063)$  und  $H_3$  $($um  $0.038)$  ab.  Auf den Endwert  $H$  als dem Grenzwert von  $H_k$  für  $k \to \infty$  wirkt sich der Verzicht auf Ziffern und Interpunktion voraussichtlich kaum aus.
	*Lässt man bei der Auswertung noch das Leerzeichen $(\rm LZ$, Zeile 4   ⇒   $M = 30)$ außer Betracht, so ergibt sich nahezu die gleiche Konstellation wie von Küpfmüller ursprünglich betrachtet. Der einzige Unterschied sind die eher seltenen deutschen Sonderzeichen '''ä''', '''ö''', '''ü''' und '''ß'''.		*Lässt man bei der Auswertung noch das Leerzeichen  $(\rm LZ$, Zeile 4   ⇒   $M = 30)$  außer Betracht, so ergibt sich nahezu die gleiche Konstellation wie von Küpfmüller ursprünglich betrachtet. Der einzige Unterschied sind die eher seltenen deutschen Sonderzeichen '''ä''',  '''ö''',  '''ü'''  und  '''ß'''.
	*Der in der letzten Zeile angegebene $H_1$–Wert $4.132$ stimmt mit dem von Küpfmüller ermittelten Wert $H_1 ≈ 4.1$ sehr gut überein. Hinsichtlich der $H_3$–Werte gibt es aber deutliche Unterschiede:   Unsere Analyse ergibt $H_3 ≈ 3.4$, während Küpfmüller $H_3 ≈ 2.8$ nennt (alle Angaben in bit/Buchstabe).		*Der in der letzten Zeile angegebene  $H_1$–Wert  $(4.132)$  stimmt mit dem von Küpfmüller ermittelten Wert  $H_1 ≈ 4.1$  sehr gut überein.  Hinsichtlich der  $H_3$–Werte gibt es aber deutliche Unterschiede:   Unsere Analyse ergibt  $H_3 ≈ 3.4$, während Küpfmüller  $H_3 ≈ 2.8$  nennt (alle Angaben in bit/Buchstabe).
	*Aus der Auftrittshäufigkeit des Leerzeichens $(17.8\%)$ ergibt sich hier eine mittlere Wortlänge von $1/0.178 - 1 ≈ 4.6$, ein kleinerer Wert als von Küpfmüller ($5.5$) angegeben. Die Diskrepanz lässt sich zum Teil mit unserer Analysedatei „Bibel” erklären (viele Leerzeichen aufgrund der Vers–Nummerierung).		*Aus der Auftrittshäufigkeit des Leerzeichens  $(17.8\%)$  ergibt sich hier eine mittlere Wortlänge von  $1/0.178 - 1 ≈ 4.6$, ein kleinerer Wert als von Küpfmüller  ($5.5$)  angegeben.  Die Diskrepanz lässt sich zum Teil mit unserer Analysedatei „Bibel” erklären (viele Leerzeichen aufgrund der Vers–Nummerierung).
	*Interessant ist der Vergleich der Zeilen 3 und 4. Berücksichtigt man das Leerzeichen, so wird zwar $H_0$ von $\log_2 \ (30) \approx 4.907$ auf $\log_2 \ (31) \approx 4.954$ vergrößert, aber man verringert dadurch $H_1$ (um den Faktor $0.98$), $H_2$ (um $0.96$) und $H_3$ (um $0.93$). Küpfmüller hat diesen Faktor intuitiv mit $85\%$ berücksichtigt.		*Interessant ist der Vergleich der Zeilen 3 und 4.  Berücksichtigt man das Leerzeichen, so wird zwar  $H_0$  von  $\log_2 \ (30) \approx 4.907$  auf  $\log_2 \ (31) \approx 4.954$  vergrößert, aber man verringert dadurch  $H_1$  $($um den Faktor  $0.98)$,  $H_2$  $($um  $0.96)$  und  $H_3$  $($um  $0.93)$. Küpfmüller hat diesen Faktor intuitiv mit  $85\%$  berücksichtigt.


	Obwohl wir ~~unsere eigenen Recherchen~~ als ~~nicht so bedeutend ansehen~~, so glauben wir doch, dass für heutige Texte die von Shannon angegebenen $1.0 \ \rm bit/Buchstabe$ für die englische Sprache und auch Küpfmüllers $1.3 \ \rm bit/Buchstabe$ für die deutsche Sprache etwas zu niedrig sind, unter Anderem, weil		Obwohl wir diese eigene Recherche als eher unbedeutend erachten, so glauben wir doch, dass für heutige Texte die von Shannon angegebenen  $1.0 \ \rm bit/Buchstabe$  für die englische Sprache und auch Küpfmüllers  $1.3 \ \rm bit/Buchstabe$  für die deutsche Sprache etwas zu niedrig sind, unter Anderem, weil
	*der Symbolumfang ~~deutlich~~ größer ist, als von Shannon und Küpfmüller ~~bei ihren Analysen~~ berücksichtigt ~~– beispielsweise~~ gilt für den ASCII–Zeichensatz $M = 256$,		*der Symbolumfang heute größer ist, als von Shannon und Küpfmüller in den 1950er Jahren berücksichtigt; zum Beispiel gilt für den ASCII–Zeichensatz  $M = 256$,
	*die vielfachen Formatierungsmöglichkeiten (Unterstreichungen, Fett- und Kursivschrift, Einrückungen, Farben) den Informationsgehalt eines Dokuments weiter erhöhen.		*die vielfachen Formatierungsmöglichkeiten (Unterstreichungen, Fett- und Kursivschrift, Einrückungen, Farben) den Informationsgehalt eines Dokuments weiter erhöhen.

Zeile 143:		Zeile 143:
	==Synthetisch erzeugte Texte ==		==Synthetisch erzeugte Texte ==
	<br>		<br>
	In der Grafik sind künstlich erzeugte deutsche und englische Texte angegeben, die aus [Küpf54]<ref name ='Küpf54'>Küpfmüller, K.: ''Die Entropie der deutschen Sprache''. Fernmeldetechnische Zeitung 7, 1954, S. 265-272.</ref> entnommen wurden. Der zugrundeliegende Symbolumfang ist $M = 27$, das heißt, berücksichtigt sind alle Buchstaben (ohne Umlaute und '''ß''') sowie das Leerzeichen.		In der Grafik sind künstlich erzeugte deutsche und englische Texte angegeben, die aus  [Küpf54]<ref name ='Küpf54'>Küpfmüller, K.: ''Die Entropie der deutschen Sprache''. Fernmeldetechnische Zeitung 7, 1954, S. 265-272.</ref>  entnommen wurden. Der zugrundeliegende Symbolumfang ist  $M = 27$,  das heißt, berücksichtigt sind alle Buchstaben  (ohne Umlaute und '''ß''')  sowie das Leerzeichen.

	[[Datei:Inf_T_1_3_S4_vers2.png\|~~center~~\|frame\|Künstlich erzeugte deutsche und englische Texte]]		[[Datei:Inf_T_1_3_S4_vers2.png\|right\|frame\|Künstlich erzeugte deutsche und englische Texte]]

	*Die ''Buchstabennäherung nullter Ordnung'' geht von gleichwahrscheinlichen Zeichen aus. Es gibt deshalb keinen Unterschied zwischen Deutsch (rot) und Englisch (blau).		*Die  ''Buchstabennäherung nullter Ordnung''  geht jeweils von gleichwahrscheinlichen Zeichen aus.  Es gibt deshalb keinen Unterschied zwischen Deutsch (rot) und Englisch (blau).
	*Die ''erste Buchstabennäherung'' berücksichtigt bereits die unterschiedlichen Häufigkeiten, die Näherungen höherer Ordnung auch die vorangegangenen Zeichen.
	*Bei der ''Synthese 4. Ordnung'' erkennt man schon sinnhafte Worte. Hier hängt die Wahrscheinlichkeit für einen neuen Buchstaben von den drei letzten Zeichen ab.
	*Die ''Wortnäherung erster Ordnung'' synthetisiert Sätze gemäß den Wortwahrscheinlichkeiten, die ''Wortnäherung zweiter Ordnung'' berücksichtigt auch das vorherige Wort.


	Weitere Information zur synthetischen Erzeugung von deutschen und englischen Texten finden Sie in [[Aufgaben:1.8_Synthetisch_erzeugte_Texte\|Aufgabe 1.8]].		*Die  ''erste Buchstabennäherung''  berücksichtigt bereits die unterschiedlichen Häufigkeiten, die Näherungen höherer Ordnung auch die vorangegangenen Zeichen.


			*Bei der  ''Synthese 4. Ordnung''  erkennt man schon sinnhafte Worte.  Hier hängt die Wahrscheinlichkeit für einen neuen Buchstaben von den drei letzten Zeichen ab.


			*Die  ''Wortnäherung erster Ordnung''  synthetisiert Sätze gemäß den Wortwahrscheinlichkeiten, die  ''Wortnäherung zweiter Ordnung''  berücksichtigt auch das vorherige Wort.



			Weitere Information zur synthetischen Erzeugung von deutschen und englischen Texten finden Sie in der  [[Aufgaben:1.8_Synthetisch_erzeugte_Texte\|Aufgabe 1.8]].