Informationstheorie: Unterschied zwischen den Versionen

Aus LNTwww
Wechseln zu:Navigation, Suche
(21 dazwischenliegende Versionen desselben Benutzers werden nicht angezeigt)
Zeile 1: Zeile 1:
Seit den ersten Anfängen der Nachrichtenübertragung als naturwissenschaftliche Disziplin war es das Bestreben vieler Ingenieure und Mathematiker, ein quantitatives Maß zu finden für die in
+
Seit den ersten Anfängen der Nachrichtenübertragung als ingenieurwissenschaftliche Disziplin war es das Bestreben vieler Ingenieure und Mathematiker, ein quantitatives Maß zu finden für die  
*einer Nachricht (hierunter verstehen wir „eine Zusammenstellung von Symbolen und/oder Zuständen“)
+
*in einer  $\rm Nachricht$  (hierunter verstehen wir „eine Zusammenstellung von Symbolen und/oder Zuständen“)
*enthaltene Information (ganz allgemein: „die Kenntnis über irgend etwas“)  
+
*enthaltene  $\rm Information$  (ganz allgemein: „die Kenntnis über irgend etwas“).
  
  
Die (abstrakte) Information wird durch die (konkrete) Nachricht mitgeteilt und kann als Interpretation einer Nachricht aufgefasst werden. Claude Elwood Shannon gelang es 1948, eine in sich konsistente Theorie über den Informationsgehalt von Nachrichten zu begründen, die zu ihrer Zeit revolutionär war und ein neues, bis heute hochaktuelles Wissenschaftsgebiet kreierte: die nach ihm benannte ''Shannonsche Informationstheorie''.  
+
Die (abstrakte) Information wird durch die (konkrete) Nachricht mitgeteilt und kann als Interpretation einer Nachricht aufgefasst werden.  
 +
 
 +
[https://de.wikipedia.org/wiki/Claude_Shannon Claude Elwood Shannon]  gelang es 1948, eine in sich konsistente Theorie über den Informationsgehalt von Nachrichten zu begründen, die zu ihrer Zeit revolutionär war und ein neues, bis heute hochaktuelles Wissenschaftsgebiet kreierte:  die nach ihm benannte  $\text{Shannonsche Informationstheorie}$.
 +
 
 +
Der Lehrstoff entspricht einer  $\text{Vorlesung mit zwei Semesterwochenstunden (SWS) und einer SWS Übungen}$.
 +
 
 +
Hier zunächst eine Inhaltsübersicht anhand der  $\text{vier Hauptkapitel}$  mit insgesamt  $\text{13 Einzelkapiteln}$.
 +
  
 
===Inhalt===
 
===Inhalt===
Zeile 23: Zeile 30:
 
{{Collapse3 | header=Information zwischen zwei wertdiskreten Zufallsgrößen
 
{{Collapse3 | header=Information zwischen zwei wertdiskreten Zufallsgrößen
 
|submenu=
 
|submenu=
*[[/Vorbemerkungen zu zweidimensionalen Zufallsgrößen/]]
+
*[[/Einige Vorbemerkungen zu zweidimensionalen Zufallsgrößen/]]
 
*[[/Verschiedene Entropien zweidimensionaler Zufallsgrößen/]]
 
*[[/Verschiedene Entropien zweidimensionaler Zufallsgrößen/]]
 
*[[/Anwendung auf die Digitalsignalübertragung/]]
 
*[[/Anwendung auf die Digitalsignalübertragung/]]
Zeile 34: Zeile 41:
 
}}
 
}}
 
{{Collapsible-Fuß}}
 
{{Collapsible-Fuß}}
Der Umfang dieses Buches entspricht einer Lehrveranstaltung mit zwei Semesterwochenstunden (SWS) Vorlesung und einer SWS Übungen.
 
 
  
'''Empfohlene Literatur:'''
+
Neben diesen Theorieseiten bieten wir auch Aufgaben und multimediale Module an, die zur Verdeutlichung des Lehrstoffes beitragen könnten:
*Abel, J.: Grundlagen des Burrows-Wheeler-Kompressionsalgorithmus. PDF–Internetdokument
+
*[https://www.lntwww.de/Kategorie:Aufgaben_zu_Informationstheorie $\text{Aufgaben}$]
*Blahut, R.E.: Principles and Practice of Information Theory. Massachusetts: Addison-Wesley, 1987.
+
*[[LNTwww:Lernvideos_zu_Informationstheorie|$\text{Lernvideos}$]]
*Bodden, E.; Clasen, M.; Kneis, J.: Algebraische Kodierung. Proseminar, Lehrstuhl für Informatik IV, RWTH Aachen, 2002.
+
*[[LNTwww:Applets_zur_Informationstheorie|$\text{Applets}$]]
*Cover, T.M.; Thomas, J.A.: Elements of Information Theory. West Sussex: John Wiley & Sons, 2nd Edition, 2006.
 
*Fano, R.M.: Transmission of Information: A Statistical Theory of Communication. New York: John Wiley & Sons, 1961.
 
*Forney, G.D.: Information Theory. Stanford University, 1972.
 
*Friedrichs, B.: Kanalcodierung – Grundlagen und Anwendungen in modernen Kommunikations- systemen. Berlin – Heidelberg: Springer, 1996.
 
*Gallager, R.G.: Information Theory and Reliable Communication. New York: John Wiley & Sons, 1968.
 
*Hartley, R. V. L.: Transmission of Information. In: Bell Syst. Techn. J. Vol. 39, 1928, pp. 535.
 
*Johannesson, R.: Informationstheorie. Lund: Studienliteratur, 1992.
 
*Kramer, G.: Information Theory. Vorlesungsmanuskript, Lehrstuhl für Nachrichtentechnik, Technische Universität München, 2016.
 
*Küpfmüller, K.: Die Entropie der deutschen Sprache. Fernmeldetechnische Zeitung 7, 1954, S. 265-272.
 
*McEliece, R.J.: The Theory of Information Theory and Coding. Massachusetts: Addison-Wesley, 1977.
 
*Mecking, M.: Information Theory. Vorlesungsmanuskript, Lehrstuhl für Nachrichtentechnik, Technische Universität München, 2009.
 
*Proakis, J. G.; Salehi, M.: Communications Systems Engineering. Prentice Hall, 2002.
 
*Shannon, C.E.: A Mathematical Theory of Communication. In: Bell Syst. Techn. J. 27 (1948), S. 379-423 und S. 623-656.
 
*Shannon, C.E.: Prediction and Entropy of Printed English. Bell Syst. Techn. J., Band 30, 1951, S. 50-64.
 
*Wyner, A. D.; Ziv, J.: A Theorem on the Entropy of Certain Binary Sequencies and Applications. IEEE Transactions on Information Theory, IT-19, S. *769-772, 1973.
 
  
 +
<br><br>
 +
$\text{Weitere Links:}$
 +
<br><br>
 +
$(1)$&nbsp; &nbsp; [[LNTwww:Literaturempfehlung_zu_Informationstheorie|$\text{Literaturempfehlungen zum Buch}$]]
  
'''ALT'''
+
$(2)$&nbsp; &nbsp; [[LNTwww:Weitere_Hinweise_zum_Buch_Informationstheorie|$\text{Allgemeine Hinweise zum Buch}$]] &nbsp; (Autoren,&nbsp; Weitere Beteiligte,&nbsp; Materialien als Ausgangspunkt des Buches,&nbsp; Quellenverzeichnis)
*Anderson, J.B.; Mohan, S.: Source and Channel Coding. Norwell (Mass.).: Kluwer Academic Publisher, 1990.
+
<br><br>
*Böhme, J.R.: Stochastische Signale. Stuttgart: B.G. Teubner, 1993.
 
*Bratley, R.; Fox, B.L.; Schräge, L.E.: A Guide to Simulation. New York: Springer, 1987.
 
*Davenport, W.B.: Probability and Random Processes. New York: McGraw-Hill, 1970.
 
*Fisz, M.: Wahrscheinlichkeitsrechnung und mathematische Statistik. 9. Auflage. Berlin: Deutscher Verlag der Wissenschaften, 1978.
 
*Greiner, M.; Tinhofer, G.: Stochastik für Studienanfänger der Informatik. München: Carl Hanser, 1996.
 
*Hänsler, E.: Statistische Signale: Grundlagen und Anwendungen. 2. Auflage. Berlin – Heidelberg: Springer, 1997.
 
*Jackson, L.B.: Digital Filters and Signal Processing. Boston: Kluwer, 1986.
 
*Knuth, D.E.: The Art of Computer Programming – Volume l. Second Edition. Reading, Mass.: Addison-Wesley, 1973.
 
*Knuth, D.E.: The Art of Computer Programming – Volume 2. Second Edition. Reading, Mass.: Addison-Wesley, 1981.
 
*Kolmogoroff, A.N.: Grundbegriffe der Wahrscheinlichkeitsrechnung. Berlin – Heidelberg: Springer, 1933.
 
*Kreyszig, E.: Statistische Methoden und ihre Anwendungen. 7. Auflage. Göttingen: Vandenhoeck & Ruprecht, 1985.
 
*Lücker, R.: Grundlagen digitaler Filter. Berlin – Heidelberg: Springer, 1980.
 
*Lüke, H.D.: Korrelationssignale. Berlin – Heidelberg: Springer, 1992.
 
*Müller, P.H.: Lexikon der Stochastik. 5. Auflage. Berlin: Akademie-Verlag, 1991.
 
*Papoulis, A.; Pillai, S.U.: Probability, Random Variables, and Stochastic Processes. Fourth Edition. New York: McGraw-Hill, 2002.
 
*Söder, G.: Modellierung, Simulation und Optimierung von Nachrichtensystemen. Berlin – Heidelberg: Springer, 1993.
 
*Thomas, J.B.: Introduction to Probability. New York: Springer, 1986.
 
  
  
 
__NOTOC__
 
__NOTOC__
 
__NOEDITSECTION__
 
__NOEDITSECTION__

Version vom 3. September 2021, 10:22 Uhr

Seit den ersten Anfängen der Nachrichtenübertragung als ingenieurwissenschaftliche Disziplin war es das Bestreben vieler Ingenieure und Mathematiker, ein quantitatives Maß zu finden für die

  • in einer  $\rm Nachricht$  (hierunter verstehen wir „eine Zusammenstellung von Symbolen und/oder Zuständen“)
  • enthaltene  $\rm Information$  (ganz allgemein: „die Kenntnis über irgend etwas“).


Die (abstrakte) Information wird durch die (konkrete) Nachricht mitgeteilt und kann als Interpretation einer Nachricht aufgefasst werden.

Claude Elwood Shannon  gelang es 1948, eine in sich konsistente Theorie über den Informationsgehalt von Nachrichten zu begründen, die zu ihrer Zeit revolutionär war und ein neues, bis heute hochaktuelles Wissenschaftsgebiet kreierte:  die nach ihm benannte  $\text{Shannonsche Informationstheorie}$.

Der Lehrstoff entspricht einer  $\text{Vorlesung mit zwei Semesterwochenstunden (SWS) und einer SWS Übungen}$.

Hier zunächst eine Inhaltsübersicht anhand der  $\text{vier Hauptkapitel}$  mit insgesamt  $\text{13 Einzelkapiteln}$.


Inhalt

Neben diesen Theorieseiten bieten wir auch Aufgaben und multimediale Module an, die zur Verdeutlichung des Lehrstoffes beitragen könnten:



$\text{Weitere Links:}$

$(1)$    $\text{Literaturempfehlungen zum Buch}$

$(2)$    $\text{Allgemeine Hinweise zum Buch}$   (Autoren,  Weitere Beteiligte,  Materialien als Ausgangspunkt des Buches,  Quellenverzeichnis)