Aufgaben:Aufgabe 1.7: Entropie natürlicher Texte - Versionsgeschichte

Guenter am 30. Juni 2021 um 11:51 Uhr

2021-06-30T11:51:47Z

Guenter am 22. Juni 2021 um 14:04 Uhr

2021-06-22T14:04:10Z

Guenter am 22. Juni 2021 um 13:46 Uhr

2021-06-22T13:46:35Z

Guenter am 18. Januar 2020 um 11:20 Uhr

2020-01-18T11:20:49Z

Guenter am 18. Januar 2020 um 11:10 Uhr

2020-01-18T11:10:45Z

Guenter am 18. Januar 2020 um 11:02 Uhr

2020-01-18T11:02:37Z

Guenter am 20. September 2018 um 09:17 Uhr

2018-09-20T09:17:05Z

Guenter am 20. September 2018 um 08:02 Uhr

2018-09-20T08:02:18Z

Guenter am 20. September 2018 um 07:52 Uhr

2018-09-20T07:52:51Z

Guenter am 20. September 2018 um 07:50 Uhr

2018-09-20T07:50:19Z

@@ Zeile 2: / Zeile 2: @@
 }}
-[[Datei:Inf_A_1_7_vers2.png|right|frame|Text mit Auslöschungen bzw. Fehlern]]
+[[Datei:Inf_A_1_7_v2.png|right|frame|Text mit Auslöschungen bzw. Fehlern]]
 Anfang der 1950er Jahre schätzte&nbsp; [https://de.wikipedia.org/wiki/Claude_Shannon Claude E. Shannon]&nbsp; die Entropie&nbsp; $H$&nbsp; der englischen Sprache mit einem bit pro Zeichen ab.&nbsp; Kurze Zeit später kam&nbsp; [https://de.wikipedia.org/wiki/Karl_K%C3%BCpfm%C3%BCller Karl Küpfmüller]&nbsp; bei einer empirischen Untersuchung der deutschen Sprache auf einen Entropiewert von&nbsp; $H =1.3\ \rm bit/Zeichen$, also einen etwas größeren Wert.&nbsp; Die Ergebnisse von Shannon und Küpfmüller beruhen dabei interessanter Weise auf zwei völlig unterschiedlichen Methoden.
@@ Zeile 102: / Zeile 102: @@
-[[Datei:Inf_A_1_7d_vers2.png|right|frame|Originaltexte]]
+[[Datei:Inf_A_1_7d_v2.png|right|frame|Originaltexte]]
 Abschließend wird der Originaltext angegeben, der auf der Angabenseite nur durch Auslöschungen (<i>Erasures</i>) oder echte Zeichenfehler verfälscht wiedergegeben ist.

@@ Zeile 55: / Zeile 55: @@
 {Welche relative Redundanz&nbsp; $r$&nbsp; ergibt sich aus Küpfmüllers Entropiewert?
 |type="{}"}
-$r \ = \ $ { 72.3 3% } $\ \%$
+$r \ = \ $ { 72.2 3% } $\ \%$
@@ Zeile 85: / Zeile 85: @@
-'''(2)'''&nbsp; Mit dem Entscheidungsgehalt&nbsp; $H_0 = \log_2 \ (31) \approx 4.7 \ \rm bit/Zeichen$&nbsp; und der Entropie&nbsp; $H = 1.3\ \rm bit/Zeichen $&nbsp; erhält man für die relative Redundanz:
+'''(2)'''&nbsp; Mit dem Entscheidungsgehalt&nbsp; $H_0 = \log_2 \ (26) \approx 4.67 \ \rm bit/Zeichen$&nbsp; und der Entropie&nbsp; $H = 1.3\ \rm bit/Zeichen $&nbsp; erhält man für die relative Redundanz:
-:$$r = \frac{H_0 - H}{H_0}= \frac{4.7 - 1.3}{4.7}\underline {\hspace{0.1cm}\approx 72.3\,\%}\hspace{0.05cm}.$$
+:$$r = \frac{H_0 - H}{H_0}= \frac{4.67 - 1.3}{4.67}\underline {\hspace{0.1cm}\approx 72.2\,\%}\hspace{0.05cm}.$$
@@ Zeile 99: / Zeile 99: @@
 '''(4)'''&nbsp; Richtig ist die <u>Aussage 2</u>:
 *Testen Sie es selbst: &nbsp; Der zweite Block der Grafik auf der Angabenseite ist leichter zu entschlüsseln als der letzte Block, weil man weiß, wo Fehler sind.
-*Wenn Sie es weiter versuchen wollen: &nbsp; Für den unteren Block&nbsp; '''(F)'''&nbsp; wurde genau die gleiche Zeichenfehlerfolge wie für Block&nbsp; '''(B)'''&nbsp; verwendet, das heißt, Fehler gibt es bei den Zeichen&nbsp; $6$,&nbsp; $35$,&nbsp; $37$,&nbsp; usw..
+*Wenn Sie es weiter versuchen wollen: &nbsp; Für den unteren Block&nbsp; '''(F)'''&nbsp; wurde genau die gleiche Zeichenfehlerfolge wie für Block&nbsp; '''(B)'''&nbsp; verwendet, das heißt, Fehler gibt es bei den Zeichen&nbsp; $6$,&nbsp; $35$,&nbsp; $37$,&nbsp; usw.

@@ Zeile 7: / Zeile 7: @@
 Die differierenden Ergebnisse lassen sich eher nicht mit den geringen Differenzen hinsichtlich des Symbolumfangs&nbsp; $M$&nbsp; erklären:
-* Shannon ging von&nbsp; $26$ Buchstaben und dem Leerzeichen aus &nbsp;&#8658;&nbsp;  $M = 27$.
+* Shannon ging von&nbsp; $26$&nbsp; Buchstaben und dem Leerzeichen aus &nbsp;&#8658;&nbsp;  $M = 27$.
 * Küpfmüller ging nur von&nbsp; $M = 26$&nbsp; Buchstaben aus&nbsp; (also ohne Leerzeichen).
@@ Zeile 14: / Zeile 14: @@
 Mit dieser Aufgabe soll gezeigt werden, wie sich
-* Auslöschungen (<i>Erasures</i>) &nbsp; &#8658; &nbsp; man kennt den Ort eines Fehlers, bzw.
+* Auslöschungen&nbsp; (&bdquo;Erasures&rdquo;) &nbsp; &#8658; &nbsp; man kennt den Ort eines Fehlers, bzw.
-* Zeichenfehler  (<i>Errors</i>) &nbsp; &#8658; &nbsp; es ist für den Leser nicht klar erkennbar, was falsch und was richtig ist,
+* Zeichenfehler&nbsp;  (&bdquo;Errors&rdquo;) &nbsp; &#8658; &nbsp; es ist für den Leser nicht klar erkennbar, was falsch und was richtig ist,
@@ Zeile 41: / Zeile 41: @@
 ::[[Informationstheorie/Natürliche_wertdiskrete_Nachrichtenquellen#Eine_weitere_Entropieabsch.C3.A4tzung_von_K.C3.BCpfm.C3.BCller|Eine weitere Entropieabschätzung von Küpfmüller]].
-*Für die&nbsp; ''relative Redundanz''&nbsp; einer Folge gilt mit dem Entscheidungsgehalt&nbsp; $H_0$&nbsp; und der Entropie&nbsp; $H$&nbsp; gilt:
+*Für die&nbsp; '''relative Redundanz'''&nbsp; einer Folge gilt mit dem Entscheidungsgehalt&nbsp; $H_0$&nbsp; und der Entropie&nbsp; $H$&nbsp; gilt:
 :$$r = \frac{H_0 - H}{H_0}\hspace{0.05cm}.$$
@@ Zeile 66: / Zeile 66: @@
 {Was erschwert die Verständlichkeit eines Textes mehr?
-|type="[]"}
+|type="()"}
-- $20\%$&nbsp; Auslöschungen (<i>Erasures</i>),
+- $20\%$&nbsp; Auslöschungen (&bdquo;Erasures&rdquo;),
 + eine Zeichenfehlerwahrscheinlichkeit von&nbsp; $20\%$.

@@ Zeile 102: / Zeile 102: @@
 Abschließend wird der Originaltext angegeben, der auf der Angabenseite nur durch Auslöschungen (<i>Erasures</i>) oder echte Zeichenfehler verfälscht wiedergegeben ist.
-[[Datei:Inf_A_1_7d_vers2.png|center|frame|Originaltexte]]
 {{ML-Fuß}}

@@ Zeile 76: / Zeile 76: @@
 ===Musterlösung===
 {{ML-Kopf}}
-'''(1)'''&nbsp; Der Symbolumfang bei Küpfmüllers Untersuchungen war $\underline{M = 26}$, da er im Gegensatz zu Shannon das Leerzeichen zunächst nicht berücksichtigte.
+'''(1)'''&nbsp; Der Symbolumfang bei Küpfmüllers Untersuchungen war&nbsp; $\underline{M = 26}$,&nbsp; da er im Gegensatz zu Shannon das Leerzeichen zunächst nicht berücksichtigte.
 Bei dem vorgegebenen deutschen Text dieser Aufgabe ist der Symbolumfang deutlich größer,
-* da hier auch die typisch deutschen Zeichen &bdquo;ä&rdquo;, &bdquo;ö&rdquo;, &bdquo;ü&rdquo; und &bdquo;ß&rdquo; vorkommen,
+* da hier auch die typisch deutschen Zeichen &bdquo;ä&rdquo;,&nbsp; &bdquo;ö&rdquo;,&nbsp; &bdquo;ü&rdquo;&nbsp; und&nbsp; &bdquo;ß&rdquo;&nbsp; vorkommen,
 * zwischen Klein&ndash; und Großschreibung unterschieden wird,
 * und zudem noch Ziffern und Interpunktionszeichen hinzukommen.
 '''(2)'''&nbsp; Mit dem Entscheidungsgehalt $H_0 = \log_2 \ (31) \approx 4.7 \ \rm bit/Zeichen$ und der Entropie $H = 1.3\ \rm bit/Zeichen $ erhält man für die relative Redundanz:
 :$$r = \frac{H_0 - H}{H_0}= \frac{4.7 - 1.3}{4.7}\underline {\hspace{0.1cm}\approx 72.3\,\%}\hspace{0.05cm}.$$
 '''(3)'''&nbsp; Richtig ist nur der <u>erste Lösungsvorschlag</u>:
-*Laut Küpfmüller benötigt man nur $1.3$ Binärzeichen pro Quellenzeichen. Bei einer Datei der Länge $N$ würden also $1.3 \cdot N$ Binärsymbole ausreichen, allerdings nur dann, wenn die Quellensymbolfolge unendlich lang ist $(N \to \infty)$ und diese bestmöglich codiert wurde.
+*Laut Küpfmüller benötigt man nur&nbsp; $1.3$&nbsp; Binärzeichen pro Quellenzeichen.
-*Dagegen besagt Küpfmüllers Ergebnis und die in der Teilaufgabe '''(2)''' errechnete relative Redundanz von mehr als $70\%$ nicht, dass ein Leser den Text noch verstehen kann, wenn $70\%$ der Zeichen ausgelöscht sind.
+*Bei einer Datei der Länge&nbsp; $N$&nbsp; würden also&nbsp; $1.3 \cdot N$&nbsp; Binärsymbole ausreichen, allerdings nur dann, wenn die Quellensymbolfolge unendlich lang ist&nbsp; $(N \to \infty)$&nbsp; und diese bestmöglich codiert wurde.
-*Ein solcher Text ist nie unendlich lang, noch wurde er vorher optimal codiert.
+*Dagegen besagt Küpfmüllers Ergebnis und die in der Teilaufgabe&nbsp; '''(2)'''&nbsp; errechnete relative Redundanz von mehr als&nbsp; $70\%$ nicht, dass ein Leser den Text noch verstehen kann, wenn&nbsp; $70\%$&nbsp; der Zeichen ausgelöscht wurden.
 '''(4)'''&nbsp; Richtig ist die <u>Aussage 2</u>:
-*Testen Sie es selbst: &nbsp; Der zweite Block der Grafik auf der Angabenseite ist leichter zu entschlüsseln als der letzte Block, weil man weiß, wo es Fehler gibt.
+*Testen Sie es selbst: &nbsp; Der zweite Block der Grafik auf der Angabenseite ist leichter zu entschlüsseln als der letzte Block, weil man weiß, wo Fehler sind.
-*Wenn Sie es weiter versuchen wollen: &nbsp; Für den unteren Block '''(F)''' wurde genau die gleiche Zeichenfehlerfolge wie für Block '''(B)''' verwendet, das heißt, Fehler gibt es bei den Zeichen $6$, $35$, $37$, usw..
+*Wenn Sie es weiter versuchen wollen: &nbsp; Für den unteren Block&nbsp; '''(F)'''&nbsp; wurde genau die gleiche Zeichenfehlerfolge wie für Block&nbsp; '''(B)'''&nbsp; verwendet, das heißt, Fehler gibt es bei den Zeichen&nbsp; $6$,&nbsp; $35$,&nbsp; $37$,&nbsp; usw..

@@ Zeile 3: / Zeile 3: @@
 [[Datei:Inf_A_1_7_vers2.png|right|frame|Text mit Auslöschungen bzw. Fehlern]]
-Anfang der 1950er Jahre schätzte [https://de.wikipedia.org/wiki/Claude_Shannon Claude E. Shannon] die Entropie $H$ der englischen Sprache mit einem bit pro Zeichen ab. Kurze Zeit später kam [https://de.wikipedia.org/wiki/Karl_K%C3%BCpfm%C3%BCller Karl Küpfmüller] bei einer empirischen Untersuchung der deutschen Sprache auf einen Entropiewert von $H =1.3\ \rm bit/Zeichen$, also einen etwas größeren Wert. Die Ergebnisse von Shannon und Küpfmüller beruhen dabei interessanter Weise auf zwei völlig unterschiedlichen Methoden.
+Anfang der 1950er Jahre schätzte&nbsp; [https://de.wikipedia.org/wiki/Claude_Shannon Claude E. Shannon]&nbsp; die Entropie&nbsp; $H$&nbsp; der englischen Sprache mit einem bit pro Zeichen ab.&nbsp; Kurze Zeit später kam&nbsp; [https://de.wikipedia.org/wiki/Karl_K%C3%BCpfm%C3%BCller Karl Küpfmüller]&nbsp; bei einer empirischen Untersuchung der deutschen Sprache auf einen Entropiewert von&nbsp; $H =1.3\ \rm bit/Zeichen$, also einen etwas größeren Wert.&nbsp; Die Ergebnisse von Shannon und Küpfmüller beruhen dabei interessanter Weise auf zwei völlig unterschiedlichen Methoden.
-Die differierenden Ergebnisse lassen sich eher nicht mit den geringen Differenzen hinsichtlich des Symbolumfangs $M$ erklären:
+Die differierenden Ergebnisse lassen sich eher nicht mit den geringen Differenzen hinsichtlich des Symbolumfangs&nbsp; $M$&nbsp; erklären:
-* Shannon ging von 26 Buchstaben und dem Leerzeichen aus &nbsp;&#8658;&nbsp;  $M = 27$.
+* Shannon ging von&nbsp; $26$ Buchstaben und dem Leerzeichen aus &nbsp;&#8658;&nbsp;  $M = 27$.
-* Küpfmüller ging nur von $M = 26$ Buchstaben (also ohne Leerzeichen)aus.
+* Küpfmüller ging nur von&nbsp; $M = 26$&nbsp; Buchstaben aus&nbsp; (also ohne Leerzeichen).
@@ Zeile 14: / Zeile 14: @@
 Mit dieser Aufgabe soll gezeigt werden, wie sich
-* Auslöschungen (<i>Erasures</i>) &nbsp; &#8658; &nbsp; man kennt den Ort eines Fehlers,
+* Auslöschungen (<i>Erasures</i>) &nbsp; &#8658; &nbsp; man kennt den Ort eines Fehlers, bzw.
-* Zeichenfehler  (<i>Errors</i>) &nbsp; &#8658; &nbsp; es ist nicht offensichtlich, was falsch und was richtig ist,
+* Zeichenfehler  (<i>Errors</i>) &nbsp; &#8658; &nbsp; es ist für den Leser nicht klar erkennbar, was falsch und was richtig ist,
-auf die  Verständlichkeit eines Textes auswirken. Unser Text beinhaltet dabei auch die typisch deutschen Buchstaben &bdquo;ä&rdquo;, &bdquo;ö&rdquo;, &bdquo;ü&rdquo; und &bdquo;ß&rdquo; sowie Ziffern und Interpunktion. Außerdem wird zwischen Groß&ndash; und Kleinschreibung unterschieden.
+auf die  Verständlichkeit eines Textes auswirken.&nbsp; Unser Text beinhaltet dabei auch die typisch deutschen Buchstaben &bdquo;ä&rdquo;,&nbsp; &bdquo;ö&rdquo;,&nbsp; &bdquo;ü&rdquo;&nbsp; und&nbsp; &bdquo;ß&rdquo;&nbsp; sowie Ziffern und Interpunktion. Außerdem wird zwischen Groß&ndash; und Kleinschreibung unterschieden.
-In der Abbildung ist dieser Text, der von Küpfmüllers Vorgehensweise handelt, in sechs Blöcke der Länge zwischen $N = 197$ bis $N = 319$ aufgeteilt. Beschrieben ist die Überprüfung seiner [[Informationstheorie/Natürliche_wertdiskrete_Nachrichtenquellen#Eine_weitere_Entropieabsch.C3.A4tzung_von_K.C3.BCpfm.C3.BCller|ersten Analyse]] auf völlig anderem Wege, die zum Ergebnis  $H =1.51\ \rm bit/Zeichen$ führte.
+In der Abbildung ist ein Text, der von Küpfmüllers Vorgehensweise handelt, in sechs Blöcke der Länge zwischen&nbsp; $N = 197$&nbsp; bis&nbsp; $N = 319$&nbsp; aufgeteilt.&nbsp; Beschrieben ist die Überprüfung seiner&nbsp; [[Informationstheorie/Natürliche_wertdiskrete_Nachrichtenquellen#Eine_weitere_Entropieabsch.C3.A4tzung_von_K.C3.BCpfm.C3.BCller|ersten Analyse]]&nbsp; auf völlig anderem Wege, die zum Ergebnis&nbsp;  $H =1.51\ \rm bit/Zeichen$&nbsp; führte.
@@ Zeile 33: / Zeile 36: @@
 ''Hinweise:''
-*Die Aufgabe gehört zum  Kapitel [[Informationstheorie/Natürliche_wertdiskrete_Nachrichtenquellen|Natürliche wertdiskrete Nachrichtenquellen]].
+*Die Aufgabe gehört zum  Kapitel&nbsp; [[Informationstheorie/Natürliche_wertdiskrete_Nachrichtenquellen|Natürliche wertdiskrete Nachrichtenquellen]].
-*Bezug genommen wird insbesondere auf die beiden Seiten [[Informationstheorie/Natürliche_wertdiskrete_Nachrichtenquellen#Entropieabsch.C3.A4tzung_nach_K.C3.BCpfm.C3.BCller|Entropieabschätzung nach Küpfmüller]] sowie   [[Informationstheorie/Natürliche_wertdiskrete_Nachrichtenquellen#Eine_weitere_Entropieabsch.C3.A4tzung_von_K.C3.BCpfm.C3.BCller|Eine weitere Entropieabschätzung von Küpfmüller]].
+*Bezug genommen wird insbesondere auf die beiden Seiten
-*Für die ''relative Redundanz'' einer Folge gilt mit dem Entscheidungsgehalt $H_0$ und der Entropie $H$ gilt:
+*Für die&nbsp; ''relative Redundanz''&nbsp; einer Folge gilt mit dem Entscheidungsgehalt&nbsp; $H_0$&nbsp; und der Entropie&nbsp; $H$&nbsp; gilt:
 :$$r = \frac{H_0 - H}{H_0}\hspace{0.05cm}.$$
@@ Zeile 43: / Zeile 48: @@
 <quiz display=simple>
-{Von welchem Symbolumfang $M$ ging Küpfmüller aus?
+{Von welchem Symbolumfang&nbsp; $M$&nbsp; ging Küpfmüller aus?
 |type="{}"}
 $M \ = \ $ { 26 }
-{Welche relative Redundanz $r$ ergibt sich aus Küpfmüllers Entropiewert?
+{Welche relative Redundanz&nbsp; $r$&nbsp; ergibt sich aus Küpfmüllers Entropiewert?
 |type="{}"}
 $r \ = \ $ { 72.3 3% } $\ \%$
-{Wie lässt sich das Ergebnis der Teilaufgabe '''(2)''' interpretieren? Gehen Sie jeweils von einer Textdatei mit $M = 26$ unterschiedlichen Zeichen aus.
+{Wie lässt sich das Ergebnis der Teilaufgabe&nbsp; '''(2)'''&nbsp; interpretieren?&nbsp; Gehen Sie jeweils von einer Textdatei mit&nbsp; $M = 26$&nbsp; unterschiedlichen Zeichen aus.
 |type="[]"}
-+ Eine solche Textdatei hinreichender Länge $(N \to \infty)$ könnte man mit $1.3 \cdot N$ Binärsymbolen darstellen.
++ Eine solche Textdatei hinreichender Länge&nbsp; $(N \to \infty)$&nbsp; könnte man mit&nbsp; $1.3 \cdot N$&nbsp; Binärsymbolen darstellen.
-- Eine solche Textdatei  mit $N= 100\hspace{0.1cm}000$ Zeichen könnte man mit $130\hspace{0.1cm}000$ Binärsymbolen darstellen.
+- Eine solche Textdatei  mit&nbsp; $N= 100\hspace{0.1cm}000$&nbsp; Zeichen könnte man mit&nbsp; $130\hspace{0.1cm}000$&nbsp; Binärsymbolen darstellen.
-- Ein Leser kann den Text auch dann noch verstehen (oder zumindest erahnen), wenn $70\%$ der Zeichen ausgelöscht sind.
+- Ein Leser kann den Text auch dann noch verstehen (oder zumindest erahnen), wenn&nbsp; $70\%$&nbsp; der Zeichen ausgelöscht sind.
 {Was erschwert die Verständlichkeit eines Textes mehr?
 |type="[]"}
-- $20\%$ Auslöschungen (<i>Erasures</i>),
+- $20\%$&nbsp; Auslöschungen (<i>Erasures</i>),
-+ eine Zeichenfehlerwahrscheinlichkeit von $20\%$.
++ eine Zeichenfehlerwahrscheinlichkeit von&nbsp; $20\%$.