Informationstheorie/Natürliche wertdiskrete Nachrichtenquellen - Versionsgeschichte

Guenter am 30. Juni 2021 um 11:27 Uhr

2021-06-30T11:27:37Z

Guenter am 30. Juni 2021 um 11:19 Uhr

2021-06-30T11:19:06Z

Guenter am 22. Juni 2021 um 12:35 Uhr

2021-06-22T12:35:13Z

Guenter am 22. Juni 2021 um 12:34 Uhr

2021-06-22T12:34:02Z

Guenter am 21. Juni 2021 um 17:22 Uhr

2021-06-21T17:22:54Z

Guenter am 21. Juni 2021 um 15:55 Uhr

2021-06-21T15:55:09Z

Guenter am 18. Januar 2020 um 10:44 Uhr

2020-01-18T10:44:11Z

Guenter am 17. Januar 2020 um 17:13 Uhr

2020-01-17T17:13:49Z

Guenter am 17. Januar 2020 um 16:43 Uhr

2020-01-17T16:43:08Z

Guenter am 17. Januar 2020 um 16:39 Uhr

2020-01-17T16:39:59Z

Änderungen zeigen

@@ Zeile 125: / Zeile 125: @@
 Die nachfolgende Tabelle fasst die Ergebnisse zusammen.&nbsp; $N$&nbsp; bezeichnet die jeweils analysierte Dateigröße in Schriftzeichen (Byte).&nbsp;  Der Entscheidungsgehalt&nbsp; $H_0$&nbsp; sowie die Entropienäherungen&nbsp;  $H_1$,&nbsp; $H_2$&nbsp; und&nbsp; $H_3$&nbsp; wurden jeweils aus&nbsp; $N$&nbsp; Schriftzeichen ermittelt und sind jeweils in &bdquo;bit/Schriftzeichen&rdquo; angegeben.
-[[Datei:EN_Inf_T_1_3_S3_v2.png|left|frame|Entropiewerte (in bit/Schriftzeichen) der deutschen Bibel]]
+[[Datei:Inf_T_1_3_S3.png|left|frame|Entropiewerte (in bit/Schriftzeichen) der deutschen Bibel]]
 <br>
 *Betrachten Sie diese Ergebnisse bitte nicht als wissenschaftliche Untersuchung.

@@ Zeile 125: / Zeile 125: @@
 Die nachfolgende Tabelle fasst die Ergebnisse zusammen.&nbsp; $N$&nbsp; bezeichnet die jeweils analysierte Dateigröße in Schriftzeichen (Byte).&nbsp;  Der Entscheidungsgehalt&nbsp; $H_0$&nbsp; sowie die Entropienäherungen&nbsp;  $H_1$,&nbsp; $H_2$&nbsp; und&nbsp; $H_3$&nbsp; wurden jeweils aus&nbsp; $N$&nbsp; Schriftzeichen ermittelt und sind jeweils in &bdquo;bit/Schriftzeichen&rdquo; angegeben.
-[[Datei:Inf_T_1_3_S3_vers2.png|left|frame|Entropiewerte (in bit/Schriftzeichen) der deutschen Bibel]]
+[[Datei:EN_Inf_T_1_3_S3_v2.png|left|frame|Entropiewerte (in bit/Schriftzeichen) der deutschen Bibel]]
 <br>
 *Betrachten Sie diese Ergebnisse bitte nicht als wissenschaftliche Untersuchung.

@@ Zeile 19: / Zeile 19: @@
-Theoretisch könnte man auch hier die Entropie entsprechend der Vorgehensweise&nbsp; [[Informationstheorie/Nachrichtenquellen_mit_Gedächtnis#Verallgemeinerung_auf_.7F.27.22.60UNIQ-MathJax108-QINU.60.22.27.7F.E2.80.93Tupel_und_Grenz.C3.BCbergang|im letzten Kapitel]]&nbsp; als den Grenzübergang der Entropienäherung&nbsp; $H_k$&nbsp; für&nbsp; $k \to \infty$&nbsp; ermitteln.&nbsp; Praktisch ergeben sich aber nach dieser Rezeptur unüberwindbare numerische Grenzen:
+Theoretisch könnte man auch hier die Entropie entsprechend der Vorgehensweise&nbsp; [[Informationstheorie/Nachrichtenquellen_mit_Gedächtnis#Verallgemeinerung_auf_.7F.27.22.60UNIQ-MathJax109-QINU.60.22.27.7F.E2.80.93Tupel_und_Grenz.C3.BCbergang|im letzten Kapitel]]&nbsp; als den Grenzübergang der Entropienäherung&nbsp; $H_k$&nbsp; für&nbsp; $k \to \infty$&nbsp; ermitteln.&nbsp; Praktisch ergeben sich aber nach dieser Rezeptur unüberwindbare numerische Grenzen:
 *Bereits für die Entropienäherung&nbsp; $H_2$&nbsp; gibt es&nbsp; $M^2 = 256^2 = 65\hspace{0.1cm}536$&nbsp; mögliche Zweiertupel.&nbsp; Für die Berechnung sind somit ebenso viele Speicherplätze (in Byte) erforderlich.&nbsp; Geht man davon aus, dass man für eine ausreichend sichere Statistik im Mittel&nbsp; $100$&nbsp; Entsprechungen pro Tupel benötigt, so sollte die Länge der Quellensymbolfolge bereits&nbsp; $N > 6.5 · 10^6$&nbsp; sein.
 *Die Anzahl der möglichen Dreiertupel ist&nbsp; $M^3 > 16 · 10^7$&nbsp; und damit ist die erforderliche Quellensymbollänge schon&nbsp;  $N > 1.6 · 10^9$.&nbsp; Dies entspricht bei&nbsp; $42$&nbsp; Zeilen pro Seite und&nbsp; $80$&nbsp; Zeichen pro Zeile einem Buch mit etwa&nbsp; $500\hspace{0.1cm}000$&nbsp; Seiten.

@@ Zeile 147: / Zeile 147: @@
 ==Synthetisch erzeugte Texte ==
 <br>
-In der Grafik sind künstlich erzeugte deutsche und englische Texte angegeben, die aus&nbsp; [Küpf54]<ref name ='Küpf54'>Küpfmüller, K.: ''Die Entropie der deutschen Sprache''. Fernmeldetechnische Zeitung 7, 1954, S. 265-272.</ref>&nbsp; entnommen wurden. Der zugrundeliegende Symbolumfang ist&nbsp; $M = 27$,&nbsp; das heißt, berücksichtigt sind alle Buchstaben&nbsp; (ohne Umlaute und '''ß''')&nbsp; sowie das Leerzeichen.
+In der Grafik sind künstlich erzeugte deutsche und englische Texte angegeben, die aus&nbsp; [Küpf54]<ref name ='Küpf54'>Küpfmüller, K.: ''Die Entropie der deutschen Sprache''. Fernmeldetechnische Zeitung 7, 1954, S. 265-272.</ref>&nbsp; entnommen sind.&nbsp; Der zugrundeliegende Symbolumfang ist&nbsp; $M = 27$,&nbsp; das heißt, berücksichtigt sind alle Buchstaben&nbsp; (auch bei &bdquo;Deutsch&rdquo; ohne Umlaute und '''ß''')&nbsp; sowie das Leerzeichen.
 [[Datei:Inf_T_1_3_S4_vers2.png|right|frame|Künstlich erzeugte deutsche und englische Texte]]
-*Die&nbsp; ''Buchstabennäherung nullter Ordnung''&nbsp; geht jeweils von gleichwahrscheinlichen Zeichen aus.&nbsp; Es gibt deshalb keinen Unterschied zwischen Deutsch (rot) und Englisch (blau).
+*Die&nbsp; &bdquo;Buchstabennäherung nullter Ordnung&rdquo;&nbsp; geht jeweils von gleichwahrscheinlichen Zeichen aus.&nbsp; Es gibt deshalb keinen Unterschied zwischen Deutsch (rot) und Englisch (blau).
-*Die&nbsp; ''erste Buchstabennäherung''&nbsp;  berücksichtigt bereits die unterschiedlichen Häufigkeiten, die Näherungen höherer Ordnung auch die vorangegangenen Zeichen.
+*Die&nbsp; &bdquo;erste Buchstabennäherung&rdquo;&nbsp;  berücksichtigt bereits die unterschiedlichen Häufigkeiten, die Näherungen höherer Ordnung auch die vorangegangenen Zeichen.
-*Bei der&nbsp; ''Synthese 4. Ordnung''&nbsp;   erkennt man schon sinnhafte Worte.&nbsp; Hier hängt  die Wahrscheinlichkeit für einen neuen Buchstaben von den drei letzten Zeichen ab.
+*Bei der&nbsp; &bdquo;Synthese 4. Ordnung&rdquo;&nbsp;   erkennt man schon sinnhafte Worte.&nbsp; Hier hängt  die Wahrscheinlichkeit für einen neuen Buchstaben von den drei letzten ausgewählten Zeichen ab.
-*Die&nbsp; ''Wortnäherung erster Ordnung''&nbsp; synthetisiert Sätze gemäß den Wortwahrscheinlichkeiten, die&nbsp; ''Wortnäherung zweiter Ordnung''&nbsp; berücksichtigt auch das vorherige Wort.
+*Die&nbsp; &bdquo;Wortnäherung erster Ordnung&rdquo;&nbsp; synthetisiert Sätze gemäß den Wortwahrscheinlichkeiten. Die&nbsp; &bdquo;Wortnäherung zweiter Ordnung&rdquo;&nbsp; berücksichtigt auch das vorherige Wort.

← Nächstältere Version		Version vom 21. Juni 2021, 17:22 Uhr
Zeile 44:		Zeile 44:
	:$$H_1 \approx 4.1\,\, {\rm bit/Buchstabe}\hspace{0.05 cm}.$$		:$$H_1 \approx 4.1\,\, {\rm bit/Buchstabe}\hspace{0.05 cm}.$$

−
	'''(2)'''  Hinsichtlich der  '''Silbenhäufigkeit'''  wertet Küpfmüller das von  [https://de.wikipedia.org/wiki/Friedrich_Wilhelm_Kaeding Friedrich Wilhelm Kaeding]  1898 herausgegebene „Häufigkeitswörterbuch der deutschen Sprache” aus.  Er unterscheidet zwischen Stammsilben, Vorsilben und Endsilben und kommt so zum mittleren Informationsgehalt aller Silben:		'''(2)'''  Hinsichtlich der  '''Silbenhäufigkeit'''  wertet Küpfmüller das von  [https://de.wikipedia.org/wiki/Friedrich_Wilhelm_Kaeding Friedrich Wilhelm Kaeding]  1898 herausgegebene „Häufigkeitswörterbuch der deutschen Sprache” aus.  Er unterscheidet zwischen Stammsilben, Vorsilben und Endsilben und kommt so zum mittleren Informationsgehalt aller Silben:

@@ Zeile 10: / Zeile 10: @@
 Bisher haben wir uns ausschließlich mit künstlich erzeugten Symbolfolgen beschäftigt.&nbsp; Nun betrachten wir geschriebene Texte.&nbsp; Ein solcher Text kann als eine natürliche wertdiskrete Nachrichtenquelle aufgefasst werden, die natürlich auch informationstheoretisch analysiert werden kann, indem man ihre Entropie ermittelt.
-Natürliche Texte werden auch in heutiger Zeit (2011) noch oft mit dem 8 Bit–Zeichensatz nach ANSI (''American National Standard Institute'') dargestellt, obwohl es etliche „modernere” Codierungen gibt.&nbsp;
+Natürliche Texte werden auch in heutiger Zeit (2011) noch oft mit dem 8 Bit–Zeichensatz nach ANSI&nbsp; ("American National Standard Institute")&nbsp; dargestellt, obwohl es etliche „modernere” Codierungen gibt.&nbsp;
 Die&nbsp; $M = 2^8 = 256$&nbsp; ANSI–Zeichen sind dabei wie folgt belegt:
@@ Zeile 16: / Zeile 16: @@
 * '''Nr.&nbsp; 32 &nbsp; bis &nbsp;127''': &nbsp; identisch mit den Zeichen des 7 Bit–ASCII–Codes,
 * '''Nr.&nbsp; 128 &nbsp; bis 159''': &nbsp; weitere Steuerzeichen bzw. Alphanumerikzeichen für Windows,
-* '''Nr.&nbsp; 160 &nbsp; bis &nbsp; 255''': &nbsp; identisch mitden  Unicode–Charts.
+* '''Nr.&nbsp; 160 &nbsp; bis &nbsp; 255''': &nbsp; identisch mit den  Unicode–Charts.
@@ Zeile 22: / Zeile 22: @@
 *Bereits für die Entropienäherung&nbsp; $H_2$&nbsp; gibt es&nbsp; $M^2 = 256^2 = 65\hspace{0.1cm}536$&nbsp; mögliche Zweiertupel.&nbsp; Für die Berechnung sind somit ebenso viele Speicherplätze (in Byte) erforderlich.&nbsp; Geht man davon aus, dass man für eine ausreichend sichere Statistik im Mittel&nbsp; $100$&nbsp; Entsprechungen pro Tupel benötigt, so sollte die Länge der Quellensymbolfolge bereits&nbsp; $N > 6.5 · 10^6$&nbsp; sein.
 *Die Anzahl der möglichen Dreiertupel ist&nbsp; $M^3 > 16 · 10^7$&nbsp; und damit ist die erforderliche Quellensymbollänge schon&nbsp;  $N > 1.6 · 10^9$.&nbsp; Dies entspricht bei&nbsp; $42$&nbsp; Zeilen pro Seite und&nbsp; $80$&nbsp; Zeichen pro Zeile einem Buch mit etwa&nbsp; $500\hspace{0.1cm}000$&nbsp; Seiten.
-*Bei einem natürlichen Text reichen die statistischen Bindungen aber sehr viel weiter als über zwei oder drei Zeichen.&nbsp; Küpfmüller gibt für die deutsche Sprache einen Wert von&nbsp; $100$&nbsp; an.&nbsp; Zur Ermittlung der 100. Entropienäherung benötigt man aber&nbsp; $2^{800}$ ≈ $10^{240}$&nbsp; Häufigkeiten und für die gesicherte Statistik nochmals um den Faktor&nbsp; $100$&nbsp; mehr Zeichen.
+*Bei einem natürlichen Text reichen die statistischen Bindungen aber sehr viel weiter als über zwei oder drei Zeichen.&nbsp; Küpfmüller gibt für die deutsche Sprache einen Wert von&nbsp; $100$&nbsp; an.&nbsp; Zur Ermittlung der 100. Entropienäherung benötigt man aber&nbsp; $2^{800}\approx10^{240}$&nbsp; Häufigkeiten und für die gesicherte Statistik nochmals um den Faktor&nbsp; $100$&nbsp; mehr Zeichen.
@@ Zeile 41: / Zeile 41: @@
-'''(1)'''&nbsp; Die&nbsp; '''erste Entropienäherung'''&nbsp; ergibt sich aus den Buchstabenhäufigkeiten in deutschen Texten.&nbsp; Nach einer Studie von 1939 ist „e” mit&nbsp; $16.7\%$&nbsp; am häufigsten, am seltensten ist „x” mit&nbsp; $0.02\%$.&nbsp; Über alle Buchstaben gemittelt ergibt sich&nbsp; $H_1 \approx 4.1\,\, {\rm bit/Buchstabe}\hspace{0.05 cm}.$
+'''(1)'''&nbsp; Die&nbsp; '''erste Entropienäherung'''&nbsp; ergibt sich aus den Buchstabenhäufigkeiten in deutschen Texten.&nbsp; Nach einer Studie von 1939 ist „e” mit&nbsp; $16.7\%$&nbsp; am häufigsten, am seltensten ist „x” mit&nbsp; $0.02\%$.&nbsp; Über alle Buchstaben gemittelt ergibt sich&nbsp;
@@ Zeile 68: / Zeile 69: @@
-'''(5)'''&nbsp; Die Auszählung &bdquo;Buchstaben pro Wort&rdquo; ergab im Mittel&nbsp; $5.5$.&nbsp; Analog zu Punkt&nbsp; '''(3)'''&nbsp; wurde so die Entropienäherung für&nbsp; $k = 5.5$&nbsp; angenähert. Küpfmüller gibt hierfür den Wert&nbsp; $H_{5.5} \approx {11}/{5.5}\approx 2\,\, {\rm bit/Buchstabe}\hspace{0.05 cm}.$&nbsp; Natürlich kann&nbsp; $k$&nbsp; gemäß&nbsp; [[Informationstheorie/Nachrichtenquellen_mit_Gedächtnis#Verallgemeinerung_auf_.7F.27.22.60UNIQ-MathJax109-QINU.60.22.27.7F.E2.80.93Tupel_und_Grenz.C3.BCbergang|seiner Definition]]&nbsp; nur ganzzahlige Werte annehmen.&nbsp; Diese Gleichung ist deshalb so zu interpretieren, dass sich für&nbsp; $H_5$&nbsp; ein etwas größerer und für&nbsp; $H_6$&nbsp; ein etwas kleinerer Wert als&nbsp; $2 \ {\rm bit/Buchstabe}$&nbsp; ergeben wird.
+'''(5)'''&nbsp; Die Auszählung &bdquo;Buchstaben pro Wort&rdquo; ergab im Mittel&nbsp; $5.5$.&nbsp; Analog zu Punkt&nbsp; '''(3)'''&nbsp; wurde so die Entropienäherung für&nbsp; $k = 5.5$&nbsp; angenähert. Küpfmüller gibt hierfür an:
 [[Datei:P_ID2303__Inf_T_1_3_S2.png|right|frame|Näherungswerte der Entropie der deutschen Sprache nach Küpfmüller]]
-'''(6)'''&nbsp; Man kann nun versuchen, aus diesen drei Punkten durch Extrapolation den Endwert der Entropie für&nbsp; $k \to \infty$&nbsp;  zu ermitteln.&nbsp; In nebenstehender Grafik wird dies bei logarithmisch aufgetragener Abszisse verdeutlicht:
+'''(6)'''&nbsp; Man kann nun versuchen, aus diesen drei Punkten&nbsp; $H_1$,&nbsp; $H_3$,&nbsp; $H_{5.5}$&nbsp; durch Extrapolation den Endwert der Entropie für&nbsp; $k \to \infty$&nbsp;  zu ermitteln.&nbsp; In nebenstehender Grafik wird dies bei logarithmisch aufgetragener Abszisse verdeutlicht:
 :*Die durchgehende Linie ist der   Küpfmüllerschen Originalarbeit&nbsp; [Küpf54]<ref name ='Küpf54'>Küpfmüller, K.: ''Die Entropie der deutschen Sprache''. Fernmeldetechnische Zeitung 7, 1954, S. 265-272.</ref>&nbsp; entnommen und führt zum Entropie-Endwert&nbsp; $H = 1.6 \ \rm bit/Buchstabe$.
 :*Die grünen Kurven sind zwei Extrapolationsversuche (eines kontinuierlichen Funktionsverlaufes durch drei Punkte) des&nbsp; $\rm LNTwww$–Autors.
@@ Zeile 78: / Zeile 81: @@
-'''(7)'''&nbsp; Küpfmüller versuchte anschließend, den von ihm mit dieser ersten Abschätzung gefundenen Endwert&nbsp; $H = 1.6 \ \rm bit/Buchstabe$&nbsp; mit völlig anderer Methodik – siehe nächster Abschnitt – zu verifizieren. Nach dieser Abschätzung revidierte er sein Ergebnis geringfügig auf&nbsp; $H = 1.51 \ \rm bit/Buchstabe$.
+'''(7)'''&nbsp; Küpfmüller versuchte anschließend, den von ihm mit dieser ersten Abschätzung gefundenen Endwert&nbsp; $H = 1.6 \ \rm bit/Buchstabe$&nbsp; mit völlig anderer Methodik – siehe nächster Abschnitt – zu verifizieren. Nach dieser Abschätzung revidierte er sein Ergebnis geringfügig auf&nbsp;
@@ Zeile 84: / Zeile 88: @@
 :*Der Korrekturfaktor ist der Quotient aus der mittleren Wortlänge ohne Berücksichtigung des Leerzeichens&nbsp; $(5.5)$&nbsp; und der mittleren Wortlänge mit Berücksichtigung des Leerzeichens&nbsp; $(5.5+1 = 6.5)$.
-:*Diese Korrektur führte zu Küpfmüllers endgültigem Ergebnis&nbsp; $H =1.51 \cdot  {5.5}/{6.5}\approx 1.3\,\, {\rm bit/Buchstabe}\hspace{0.05 cm}.$
+:*Diese Korrektur führte zu Küpfmüllers endgültigem Ergebnis:&nbsp;

@@ Zeile 130: / Zeile 130: @@
 *In allen Zeilen nehmen die Entropienäherungen&nbsp; $H_k$&nbsp; mit wachsendem&nbsp; $k$&nbsp; monoton ab.&nbsp; Der Abfall verläuft konvex, das heißt, es ist&nbsp; $H_1 - H_2 > H_2 - H_3$.&nbsp; Die Extrapolation des Endwertes&nbsp; $(k \to \infty)$&nbsp; ist aus den jeweils ermittelten drei Entropienäherungen nicht (oder nur äußerst vage) möglich.
 *Verzichtet man auf die Auswertung der Ziffern&nbsp; $(\rm ZI$, Zeile 2 &nbsp; ⇒ &nbsp; $M = 32)$&nbsp; und zusätzlich auf die Auswertung der Interpunktionszeichen&nbsp; $(\rm IP$, Zeile 3 &nbsp; ⇒ &nbsp;  $M = 31)$, so nehmen die Entropienäherungen&nbsp; $H_1$&nbsp; $($um&nbsp; $0.114)$,&nbsp; $H_2$&nbsp; $($um&nbsp;  $0.063)$&nbsp;  und&nbsp; $H_3$&nbsp; $($um&nbsp; $0.038)$&nbsp; ab.&nbsp; Auf den Endwert&nbsp; $H$&nbsp; als dem Grenzwert von&nbsp; $H_k$&nbsp; für&nbsp; $k \to \infty$&nbsp; wirkt sich der Verzicht auf Ziffern und Interpunktion voraussichtlich kaum aus.
-*Lässt man bei der Auswertung noch das Leerzeichen $(\rm LZ$, Zeile 4 &nbsp; ⇒ &nbsp; $M = 30)$ außer Betracht, so ergibt sich nahezu die gleiche Konstellation wie von Küpfmüller ursprünglich betrachtet. Der einzige Unterschied sind die eher seltenen deutschen Sonderzeichen  '''ä''',  '''ö''',  '''ü''' und '''ß'''.
+*Lässt man bei der Auswertung noch das Leerzeichen&nbsp; $(\rm LZ$, Zeile 4 &nbsp; ⇒ &nbsp; $M = 30)$&nbsp; außer Betracht, so ergibt sich nahezu die gleiche Konstellation wie von Küpfmüller ursprünglich betrachtet. Der einzige Unterschied sind die eher seltenen deutschen Sonderzeichen  '''ä''',&nbsp;  '''ö''',&nbsp;  '''ü'''&nbsp; und&nbsp; '''ß'''.
-*Der in der letzten Zeile angegebene $H_1$–Wert $4.132$ stimmt mit dem von Küpfmüller ermittelten Wert $H_1 ≈ 4.1$ sehr gut überein. Hinsichtlich der $H_3$–Werte gibt es aber deutliche Unterschiede: &nbsp; Unsere Analyse ergibt $H_3 ≈ 3.4$, während Küpfmüller $H_3 ≈ 2.8$ nennt (alle Angaben in bit/Buchstabe).
+*Der in der letzten Zeile angegebene&nbsp; $H_1$–Wert&nbsp; $(4.132)$&nbsp; stimmt mit dem von Küpfmüller ermittelten Wert&nbsp; $H_1 ≈ 4.1$&nbsp; sehr gut überein.&nbsp; Hinsichtlich der&nbsp; $H_3$–Werte gibt es aber deutliche Unterschiede: &nbsp; Unsere Analyse ergibt&nbsp; $H_3 ≈ 3.4$, während Küpfmüller&nbsp; $H_3 ≈ 2.8$&nbsp; nennt (alle Angaben in bit/Buchstabe).
-*Aus der Auftrittshäufigkeit des Leerzeichens $(17.8\%)$ ergibt sich hier eine mittlere Wortlänge von $1/0.178 - 1 ≈ 4.6$, ein kleinerer Wert als von Küpfmüller ($5.5$) angegeben. Die Diskrepanz lässt sich zum Teil mit unserer Analysedatei „Bibel” erklären (viele Leerzeichen aufgrund der Vers–Nummerierung).
+*Aus der Auftrittshäufigkeit des Leerzeichens&nbsp; $(17.8\%)$&nbsp; ergibt sich hier eine mittlere Wortlänge von&nbsp; $1/0.178 - 1 ≈ 4.6$, ein kleinerer Wert als von Küpfmüller&nbsp; ($5.5$)&nbsp; angegeben.&nbsp; Die Diskrepanz lässt sich zum Teil mit unserer Analysedatei „Bibel” erklären (viele Leerzeichen aufgrund der Vers–Nummerierung).
-*Interessant ist der Vergleich der Zeilen 3 und 4. Berücksichtigt man das Leerzeichen, so wird zwar $H_0$ von $\log_2 \ (30) \approx 4.907$ auf $\log_2 \ (31) \approx 4.954$ vergrößert, aber man verringert dadurch $H_1$ (um den Faktor $0.98$), $H_2$ (um $0.96$) und $H_3$ (um $0.93$). Küpfmüller hat diesen Faktor intuitiv mit $85\%$ berücksichtigt.
+*Interessant ist der Vergleich der Zeilen 3 und 4.&nbsp; Berücksichtigt man das Leerzeichen, so wird zwar&nbsp; $H_0$&nbsp; von&nbsp; $\log_2 \ (30) \approx 4.907$&nbsp; auf&nbsp; $\log_2 \ (31) \approx 4.954$&nbsp; vergrößert, aber man verringert dadurch&nbsp; $H_1$&nbsp; $($um den Faktor&nbsp; $0.98)$,&nbsp; $H_2$&nbsp; $($um&nbsp; $0.96)$&nbsp; und&nbsp; $H_3$&nbsp; $($um&nbsp; $0.93)$. Küpfmüller hat diesen Faktor intuitiv mit&nbsp; $85\%$&nbsp; berücksichtigt.
-Obwohl wir unsere eigenen Recherchen als nicht so bedeutend ansehen, so glauben wir doch, dass für heutige Texte die von Shannon angegebenen $1.0 \ \rm  bit/Buchstabe$ für die englische Sprache und auch Küpfmüllers $1.3 \ \rm  bit/Buchstabe$ für die deutsche Sprache etwas zu niedrig sind, unter Anderem, weil
+Obwohl wir diese eigene Recherche als eher unbedeutend erachten, so glauben wir doch, dass für heutige Texte die von Shannon angegebenen&nbsp; $1.0 \ \rm  bit/Buchstabe$&nbsp; für die englische Sprache und auch Küpfmüllers&nbsp; $1.3 \ \rm  bit/Buchstabe$&nbsp; für die deutsche Sprache etwas zu niedrig sind, unter Anderem, weil
-*der Symbolumfang deutlich größer ist, als von Shannon und Küpfmüller bei ihren Analysen berücksichtigt – beispielsweise gilt für den ASCII–Zeichensatz $M = 256$,
+*der Symbolumfang heute  größer ist, als von Shannon und Küpfmüller in den 1950er Jahren berücksichtigt; zum Beispiel gilt für den ASCII–Zeichensatz&nbsp; $M = 256$,
 *die vielfachen Formatierungsmöglichkeiten (Unterstreichungen, Fett- und Kursivschrift, Einrückungen, Farben) den Informationsgehalt eines Dokuments weiter erhöhen.
@@ Zeile 143: / Zeile 143: @@
 ==Synthetisch erzeugte Texte ==
 <br>
-In der Grafik sind künstlich erzeugte deutsche und englische Texte angegeben, die aus [Küpf54]<ref name ='Küpf54'>Küpfmüller, K.: ''Die Entropie der deutschen Sprache''. Fernmeldetechnische Zeitung 7, 1954, S. 265-272.</ref> entnommen wurden. Der zugrundeliegende Symbolumfang ist $M = 27$, das heißt, berücksichtigt sind alle Buchstaben (ohne Umlaute und '''ß''') sowie das Leerzeichen.
+In der Grafik sind künstlich erzeugte deutsche und englische Texte angegeben, die aus&nbsp; [Küpf54]<ref name ='Küpf54'>Küpfmüller, K.: ''Die Entropie der deutschen Sprache''. Fernmeldetechnische Zeitung 7, 1954, S. 265-272.</ref>&nbsp; entnommen wurden. Der zugrundeliegende Symbolumfang ist&nbsp; $M = 27$,&nbsp; das heißt, berücksichtigt sind alle Buchstaben&nbsp; (ohne Umlaute und '''ß''')&nbsp; sowie das Leerzeichen.
-[[Datei:Inf_T_1_3_S4_vers2.png|center|frame|Künstlich erzeugte deutsche und englische Texte]]
+[[Datei:Inf_T_1_3_S4_vers2.png|right|frame|Künstlich erzeugte deutsche und englische Texte]]
-*Die ''Buchstabennäherung nullter Ordnung'' geht von gleichwahrscheinlichen Zeichen aus. Es gibt deshalb keinen Unterschied zwischen Deutsch (rot) und Englisch (blau).
+*Die&nbsp; ''Buchstabennäherung nullter Ordnung''&nbsp; geht jeweils von gleichwahrscheinlichen Zeichen aus.&nbsp; Es gibt deshalb keinen Unterschied zwischen Deutsch (rot) und Englisch (blau).
-Weitere Information zur synthetischen Erzeugung von deutschen und englischen Texten finden Sie in [[Aufgaben:1.8_Synthetisch_erzeugte_Texte|Aufgabe 1.8]].
+*Die&nbsp; ''erste Buchstabennäherung''&nbsp;  berücksichtigt bereits die unterschiedlichen Häufigkeiten, die Näherungen höherer Ordnung auch die vorangegangenen Zeichen.

@@ Zeile 89: / Zeile 89: @@
 ==Eine weitere Entropieabschätzung von Küpfmüller  ==
 <br>
-Der Vollständigkeit halber seien hier noch Küpfmüllers Überlegungen dargelegt, die ihn zum Endergebnis $H = 1.51 \ \rm bit/Buchstabe$ führten. Da es für die Statistik von Wortgruppen oder ganzen Sätzen keine Unterlagen gab, schätzte er den Entropiewert der deutschen Sprache wie folgt ab:
+Der Vollständigkeit halber seien hier noch Küpfmüllers Überlegungen dargelegt, die ihn zum Endergebnis&nbsp; $H = 1.51 \ \rm bit/Buchstabe$&nbsp; führten.&nbsp; Da es für die Statistik von Wortgruppen oder ganzen Sätzen keine Unterlagen gab, schätzte er den Entropiewert der deutschen Sprache wie folgt ab:
-*Ein beliebiger zusammenhängender deutscher Text wird hinter einem bestimmten Wort abgedeckt. Der vorhergehende Text wird gelesen, und der Leser soll versuchen, das folgende Wort aus dem Zusammenhang mit dem vorhergehenden Text zu ermitteln.
+*Ein beliebiger zusammenhängender deutscher Text wird hinter einem bestimmten Wort abgedeckt.&nbsp; Der vorhergehende Text wird gelesen, und der Leser soll versuchen, das folgende Wort aus dem Zusammenhang mit dem vorhergehenden Text zu ermitteln.
-*Bei sehr vielen solcher Versuche ergibt die prozentuale Zahl der Treffer ein Maß für die Bindungen zwischen Wörtern und Sätzen. Es zeigt sich, dass bei ein und derselben Textart (Romane, wissenschaftliche Schriften, usw.) ein und desselben Autors relativ schnell (bei etwa 100 bis 200 Versuchen) ein konstanter Endwert dieses Trefferverhältnisses erreicht wird.
+*Bei sehr vielen solcher Versuche ergibt die prozentuale Zahl der Treffer ein Maß für die Bindungen zwischen Wörtern und Sätzen.&nbsp; Es zeigt sich, dass bei ein und derselben Textart (Romane, wissenschaftliche Schriften, usw.) ein und desselben Autors relativ schnell&nbsp; (bei etwa hundert bis zweihundert Versuchen)&nbsp; ein konstanter Endwert dieses Trefferverhältnisses erreicht wird.
-*Das Trefferverhältnis hängt aber ziemlich stark von der Art des Textes ab. Für verschiedene Texte ergeben sich Werte zwischen $15\%$ und $33\%$, mit dem Mittelwert bei $22\%$. Das heißt aber auch: &nbsp; Im Durchschnitt können $22\%$ der Wörter in einem deutschen Text aus dem Zusammenhang heraus ermittelt werden.
+*Das Trefferverhältnis hängt aber ziemlich stark von der Art des Textes ab.&nbsp; Für verschiedene Texte ergeben sich Werte zwischen&nbsp; $15\%$&nbsp; und&nbsp; $33\%$, mit dem Mittelwert bei&nbsp; $22\%$.&nbsp; Das heißt aber auch: &nbsp; Im Durchschnitt können&nbsp; $22\%$&nbsp; der Wörter in einem deutschen Text aus dem Zusammenhang heraus ermittelt werden.
-*Anders ausgedrückt: &nbsp;  Die Wörterzahl  eines langen Textes kann mit dem Faktor $0.78$ reduziert werden, ohne dass der Nachrichtengehalt des Textes eine signifikante Einbuße erfährt. Ausgehend vom Bezugswert $H_{5.5} = 2 \ \rm  bit/Buchstabe$ (siehe Punkt '''(5)''' im letzten Abschnitt) für ein mittellanges Wort ergibt sich somit die Entropie $H ≈ 0.78 · 2 = 1.56  \ \rm  bit/Buchstabe$.
+*Anders ausgedrückt: &nbsp;  Die Wörterzahl  eines langen Textes kann mit dem Faktor&nbsp; $0.78$&nbsp; reduziert werden, ohne dass der Nachrichtengehalt des Textes eine signifikante Einbuße erfährt.&nbsp; Ausgehend vom Bezugswert&nbsp; $H_{5.5} = 2 \ \rm  bit/Buchstabe$&nbsp; $($siehe Punkt&nbsp; '''(5)'''&nbsp; im letzten Abschnitt$)$&nbsp; für ein mittellanges Wort ergibt sich somit die Entropie&nbsp; $H ≈ 0.78 · 2 = 1.56  \ \rm  bit/Buchstabe$.
-*Küpfmüller überprüfte diesen Wert mit einer vergleichbaren empirischen Untersuchung hinsichtlich der Silben und ermittelte so den Reduktionsfaktor $0.54$ (hinsichtlich Silben). Als Endergebnis nennt Küpfmüller $H = 0.54 · H_3 ≈ 1.51 \ \rm  bit/Buchstabe$, wobei $H_3 ≈ 2.8 \ \rm  bit/Buchstabe$ der Entropie einer Silbe mittlerer Länge (≈ drei Buchstaben, siehe Punkt '''(3)''' auf der letzten Seite) entspricht.
+*Küpfmüller überprüfte diesen Wert mit einer vergleichbaren empirischen Untersuchung hinsichtlich der Silben und ermittelte so den Reduktionsfaktor&nbsp; $0.54$&nbsp; (hinsichtlich Silben).&nbsp; Als Endergebnis nennt Küpfmüller&nbsp; $H = 0.54 · H_3 ≈ 1.51 \ \rm  bit/Buchstabe$, wobei&nbsp; $H_3 ≈ 2.8 \ \rm  bit/Buchstabe$&nbsp; der Entropie einer Silbe mittlerer Länge&nbsp; $($etwa drei Buchstaben, siehe Punkt&nbsp; '''(3)'''&nbsp; auf der letzten Seite$)$&nbsp; entspricht.
@@ Zeile 104: / Zeile 104: @@
 ==Einige eigene Simulationsergebnisse==
 <br>
-Die Angaben von Karl Küpfmüller hinsichtlich der Entropie der deutschen Sprache sollen nun mit einigen (sehr einfachen) Simulationsergebnissen verglichen werden, die vom Autor dieses Kapitels (Günter Söder) am Lehrstuhl für Nachrichtentechnik der Technischen Universität München im Rahmen eines Praktikums erarbeitet wurden. Die Resultate basieren auf
+Die Angaben von Karl Küpfmüller hinsichtlich der Entropie der deutschen Sprache sollen nun mit einigen (sehr einfachen) Simulationsergebnissen verglichen werden, die vom Autor dieses Kapitels (Günter Söder) am Lehrstuhl für Nachrichtentechnik der Technischen Universität München im Rahmen eines Praktikums erarbeitet wurden.&nbsp; Die Resultate basieren auf
-*dem Windows-Programm [http://www.lntwww.de/downloads/Sonstiges/Programme/WDIT.zip WDIT] &nbsp;&rArr;&nbsp; der Link verweist auf die ZIP-Version des Programms;
+*dem Windows-Programm&nbsp; [http://www.lntwww.de/downloads/Sonstiges/Programme/WDIT.zip WDIT] &nbsp;&rArr;&nbsp; der Link verweist auf die ZIP-Version des Programms;
-*der zugehörigen Praktikumsanleitung [http://www.lntwww.de/downloads/Sonstiges/Texte/Wertdiskrete_Informationstheorie.pdf Wertdiskrete Informationstheorie]  &nbsp; &rArr; &nbsp; der Link verweist auf die PDF-Version;
+*der zugehörigen Praktikumsanleitung&nbsp; [http://www.lntwww.de/downloads/Sonstiges/Texte/Wertdiskrete_Informationstheorie.pdf Wertdiskrete Informationstheorie]  &nbsp; &rArr; &nbsp; der Link verweist auf die PDF-Version;
-*der deutschen Bibel im ASCII–Format mit  $N \approx 4.37 \cdot 10^6$  Zeichen. Dies entspricht einem Buch mit 1300 Seitenwas bei 42 Zeilen pro Seite und 80 Zeichen pro Zeile.
+*der deutschen Bibel im ASCII–Format mit&nbsp;  $N \approx 4.37 \cdot 10^6$&nbsp;  Zeichen. Dies entspricht einem Buch mit&nbsp; $1300$&nbsp; Seiten bei&nbsp; $42$&nbsp; Zeilen pro Seite und&nbsp; $80$&nbsp; Zeichen pro Zeile.
-Der Symbolumfang wurde auf $M = 33$ reduziert und umfasst die Zeichen '''a''',  '''b''',  '''c''',  ... ,  '''x''',  '''y''',  '''z''',  '''ä''',  '''ö''',  '''ü''', '''ß''',  '''LZ''',  '''ZI''',  '''IP'''. Nicht unterschieden wurde bei unserer Analyse zwischen Groß– und Kleinbuchstaben. Gegenüber Küpfmüllers Analyse wurden hier noch zusätzlich berücksichtigt:
+Der Symbolumfang wurde auf&nbsp; $M = 33$&nbsp; reduziert und umfasst die Zeichen '''a''',&nbsp;  '''b''',&nbsp;  '''c''',&nbsp;  ... ,&nbsp;  '''x''',&nbsp;  '''y''',&nbsp;  '''z''',&nbsp;  '''ä''',&nbsp;  '''ö''',&nbsp;  '''ü''',&nbsp; '''ß''',&nbsp;  $\rm LZ$,&nbsp;  $\rm ZI$,&nbsp;  $\rm IP$.&nbsp; Nicht unterschieden wurde bei unserer Analyse zwischen Groß– und Kleinbuchstaben.
 Die nachfolgende Tabelle fasst die Ergebnisse zusammen. $N$ bezeichnet die jeweils analysierte Dateigröße in Schriftzeichen (Byte).  Der Entscheidungsgehalt $H_0$ sowie die Entropienäherungen  $H_1$, $H_2$ und $H_3$ wurden jeweils aus $N$ Schriftzeichen ermittelt und sind jeweils in &bdquo;bit/Schriftzeichen&rdquo; angegeben.
 [[Datei:Inf_T_1_3_S3_vers2.png|left|frame|Entropiewerte (in bit/Schriftzeichen) der deutschen Bibel]]
+<br>
 *Betrachten Sie diese Ergebnisse bitte nicht als wissenschaftliche Untersuchung.
 *Es ist nur der Versuch, Studierenden die behandelte Thematik in einem Praktikum näher zu bringen.
@@ Zeile 126: / Zeile 128: @@
 <br clear=all>
 Die Ergebnisse obiger Tabelle lassen sich wie folgt zusammenfassen:
-*In allen Zeilen nehmen die Entropienäherungen $H_k$ mit wachsendem $k$ monoton ab. Der Abfall verläuft konvex, das heißt, es ist $H_1 - H_2 > H_2 - H_3$. Die Extrapolation des Endwertes $(k \to \infty)$ ist aus den jeweils ermittelten drei Entropienäherungen nicht (oder nur sehr vage) möglich.
+*In allen Zeilen nehmen die Entropienäherungen&nbsp; $H_k$&nbsp; mit wachsendem&nbsp; $k$&nbsp; monoton ab.&nbsp; Der Abfall verläuft konvex, das heißt, es ist&nbsp; $H_1 - H_2 > H_2 - H_3$.&nbsp; Die Extrapolation des Endwertes&nbsp; $(k \to \infty)$&nbsp; ist aus den jeweils ermittelten drei Entropienäherungen nicht (oder nur äußerst vage) möglich.
-*Verzichtet man auf die Auswertung der Ziffern $(\rm ZI$, Zeile 2 &nbsp; ⇒ &nbsp; $M = 32)$ und zusätzlich auf die Auswertung der Interpunktionszeichen $(\rm IP$, Zeile 3 &nbsp; ⇒ &nbsp;  $M = 31)$, so nehmen die Entropienäherungen $H_1$ (um $0.114$), $H_2$ (um $0.063$) und $H_3$ (um $0.038$) ab. Auf den Endwert $H$ als dem Grenzwert von $H_k$ für $k \to \infty$ wirkt sich der Verzicht auf Ziffern und Interpunktion voraussichtlich kaum aus.
+*Verzichtet man auf die Auswertung der Ziffern&nbsp; $(\rm ZI$, Zeile 2 &nbsp; ⇒ &nbsp; $M = 32)$&nbsp; und zusätzlich auf die Auswertung der Interpunktionszeichen&nbsp; $(\rm IP$, Zeile 3 &nbsp; ⇒ &nbsp;  $M = 31)$, so nehmen die Entropienäherungen&nbsp; $H_1$&nbsp; $($um&nbsp; $0.114)$,&nbsp; $H_2$&nbsp; $($um&nbsp;  $0.063)$&nbsp;  und&nbsp; $H_3$&nbsp; $($um&nbsp; $0.038)$&nbsp; ab.&nbsp; Auf den Endwert&nbsp; $H$&nbsp; als dem Grenzwert von&nbsp; $H_k$&nbsp; für&nbsp; $k \to \infty$&nbsp; wirkt sich der Verzicht auf Ziffern und Interpunktion voraussichtlich kaum aus.
 *Lässt man bei der Auswertung noch das Leerzeichen $(\rm LZ$, Zeile 4 &nbsp; ⇒ &nbsp; $M = 30)$ außer Betracht, so ergibt sich nahezu die gleiche Konstellation wie von Küpfmüller ursprünglich betrachtet. Der einzige Unterschied sind die eher seltenen deutschen Sonderzeichen  '''ä''',  '''ö''',  '''ü''' und '''ß'''.
 *Der in der letzten Zeile angegebene $H_1$–Wert $4.132$ stimmt mit dem von Küpfmüller ermittelten Wert $H_1 ≈ 4.1$ sehr gut überein. Hinsichtlich der $H_3$–Werte gibt es aber deutliche Unterschiede: &nbsp; Unsere Analyse ergibt $H_3 ≈ 3.4$, während Küpfmüller $H_3 ≈ 2.8$ nennt (alle Angaben in bit/Buchstabe).

← Nächstältere Version		Version vom 17. Januar 2020, 16:43 Uhr
Zeile 68:		Zeile 68:


−	'''(5)'''  Die Auszählung &bdquo;Buchstaben pro Wort” ergab im Mittel  $5.5$.  Analog zu Punkt  '''(3)'''  wurde so die Entropienäherung für  $k = 5.5$  angenähert. Küpfmüller gibt hierfür den Wert  $H_{5.5} \approx {11}/{5.5}\approx 2\,\, {\rm bit/Buchstabe}\hspace{0.05 cm}.$  Natürlich kann  $k$  gemäß  [[Informationstheorie/Nachrichtenquellen_mit_Gedächtnis#Verallgemeinerung_auf_.~~7FUNIQ~~-~~MathJax104~~-QINU.7F.E2.80.93Tupel_und_Grenz.C3.BCbergang\|seiner Definition]]  nur ganzzahlige Werte annehmen.  Diese Gleichung ist deshalb so zu interpretieren, dass sich für  $H_5$  ein etwas größerer und für  $H_6$  ein etwas kleinerer Wert als  $2 \ {\rm bit/Buchstabe}$  ergeben wird.	+	'''(5)'''  Die Auszählung &bdquo;Buchstaben pro Wort” ergab im Mittel  $5.5$.  Analog zu Punkt  '''(3)'''  wurde so die Entropienäherung für  $k = 5.5$  angenähert. Küpfmüller gibt hierfür den Wert  $H_{5.5} \approx {11}/{5.5}\approx 2\,\, {\rm bit/Buchstabe}\hspace{0.05 cm}.$  Natürlich kann  $k$  gemäß  [[Informationstheorie/Nachrichtenquellen_mit_Gedächtnis#Verallgemeinerung_auf_.7F.27.22.60UNIQ-MathJax109-QINU.60.22.27.7F.E2.80.93Tupel_und_Grenz.C3.BCbergang\|seiner Definition]]  nur ganzzahlige Werte annehmen.  Diese Gleichung ist deshalb so zu interpretieren, dass sich für  $H_5$  ein etwas größerer und für  $H_6$  ein etwas kleinerer Wert als  $2 \ {\rm bit/Buchstabe}$  ergeben wird.