Informationstheorie: Unterschied zwischen den Versionen

Aus LNTwww
Wechseln zu:Navigation, Suche
(11 dazwischenliegende Versionen desselben Benutzers werden nicht angezeigt)
Zeile 1: Zeile 1:
Seit den ersten Anfängen der Nachrichtenübertragung als naturwissenschaftliche Disziplin war es das Bestreben vieler Ingenieure und Mathematiker, ein quantitatives Maß zu finden für die in
+
Seit den ersten Anfängen der Nachrichtenübertragung als ingenieurwissenschaftliche Disziplin war es das Bestreben vieler Ingenieure und Mathematiker,  ein quantitatives Maß zu finden für die  
*einer  $\rm Nachricht$  (hierunter verstehen wir „eine Zusammenstellung von Symbolen und/oder Zuständen“)
+
*in einer  $\rm Nachricht$  $($hierunter verstehen wir „eine Zusammenstellung von Symbolen und/oder Zuständen“$)$
*enthaltene  $\rm Information$  (ganz allgemein: „die Kenntnis über irgend etwas“).
 
  
 +
*enthaltene  $\rm Information$  $($ganz allgemein: „die Kenntnis über irgend etwas“$)$.
  
Die (abstrakte) Information wird durch die (konkrete) Nachricht mitgeteilt und kann als Interpretation einer Nachricht aufgefasst werden.
 
  
[https://de.wikipedia.org/wiki/Claude_Shannon Claude Elwood Shannon]  gelang es 1948, eine in sich konsistente Theorie über den Informationsgehalt von Nachrichten zu begründen, die zu ihrer Zeit revolutionär war und ein neues, bis heute hochaktuelles Wissenschaftsgebiet kreierte:  die nach ihm benannte  $\text{Shannonsche Informationstheorie}$.
+
Die  (abstrakte)  Information wird durch die  (konkrete)  Nachricht mitgeteilt und kann als Interpretation einer Nachricht aufgefasst werden.  
  
Der Lehrstoff entspricht einer  $\text{Vorlesung mit zwei Semesterwochenstunden (SWS) und einer SWS Übungen}$.
+
:⇒   [https://de.wikipedia.org/wiki/Claude_Shannon '''Claude Elwood Shannon''']  gelang es 1948,  eine in sich konsistente Theorie über den Informationsgehalt von Nachrichten zu begründen,  die zu ihrer Zeit revolutionär war und ein neues,  bis heute hochaktuelles Wissenschaftsgebiet kreierte:  die nach ihm benannte  $\text{Shannonsche Informationstheorie}$.
  
Hier zunächst eine Inhaltsübersicht anhand der  $\text{vier Hauptkapitel}$  mit insgesamt  $\text{13 Einzelkapiteln}$.   
+
 
 +
Hier zunächst eine  '''Inhaltsübersicht'''  anhand der  '''vier Hauptkapitel'''  mit insgesamt  '''13 Einzelkapiteln'''.   
 
   
 
   
 
 
===Inhalt===
 
===Inhalt===
 
{{Collapsible-Kopf}}
 
{{Collapsible-Kopf}}
Zeile 42: Zeile 41:
 
{{Collapsible-Fuß}}
 
{{Collapsible-Fuß}}
  
Neben diesen Theorieseiten bieten wir auch Aufgaben und multimediale Module an, die zur Verdeutlichung des Lehrstoffes beitragen könnten:
+
Neben diesen Theorieseiten bieten wir auch Aufgaben und multimediale Module an,  die zur Verdeutlichung des Lehrstoffes beitragen könnten:
 
*[https://www.lntwww.de/Kategorie:Aufgaben_zu_Informationstheorie $\text{Aufgaben}$]
 
*[https://www.lntwww.de/Kategorie:Aufgaben_zu_Informationstheorie $\text{Aufgaben}$]
 +
 
*[[LNTwww:Lernvideos_zu_Informationstheorie|$\text{Lernvideos}$]]
 
*[[LNTwww:Lernvideos_zu_Informationstheorie|$\text{Lernvideos}$]]
*[[LNTwww:HTML5-Applets_zu_Informationstheorie|$\text{neu gestaltete Applets}$]], basierend auf HTML5, auch auf Smartphones lauffähig
+
 
*[[LNTwww:SWF-Applets_zu_Informationstheorie|$\text{frühere Applets}$]], basierend auf SWF, lauffähig nur unter WINDOWS mit ''Adobe Flash Player''.
+
*[[LNTwww:Applets_zur_Informationstheorie|$\text{Applets}$]]
  
 
<br><br>
 
<br><br>
 
$\text{Weitere Links:}$
 
$\text{Weitere Links:}$
 
<br><br>
 
<br><br>
$(1)$&nbsp; &nbsp; [[LNTwww:Literaturempfehlung_zu_Stochastische_Signaltheorie|$\text{Literaturempfehlungen zum Buch}$]]
+
$(1)$&nbsp; &nbsp; [[LNTwww:Literaturempfehlung_zu_Informationstheorie|$\text{Literaturempfehlungen zum Buch}$]]
  
$(2)$&nbsp; &nbsp; [[LNTwww:Weitere_Hinweise_zum_Buch_Signaldarstellung|$\text{Allgemeine Hinweise zum Buch}$]] &nbsp; (Autoren,&nbsp; Weitere Beteiligte,&nbsp; Materialien als Ausgangspunkt des Buches,&nbsp; Quellenverzeichnis)
+
$(2)$&nbsp; &nbsp; [[LNTwww:Weitere_Hinweise_zum_Buch_Informationstheorie|$\text{Allgemeine Hinweise zum Buch}$]] &nbsp; $($Autoren,&nbsp; weitere Beteiligte,&nbsp; Materialien als Ausgangspunkt des Buches,&nbsp; Quellenverzeichnis$)$
 
<br><br>
 
<br><br>
 
 
 
 
 
[[LNTwww:Autoren#Stochastische Signaltheorie|$\text{Hinweise zu den Autoren und den Materialien, von denen bei der Erstellung des Buches ausgegangen wurde}$]].
 
 
$\text{Empfohlene Literatur:}$
 
 
*Abel, J.: Grundlagen des Burrows-Wheeler-Kompressionsalgorithmus, Informatik - Forschung und Entwicklung , 18, Nr. 2, S. 80–87, 2004
 
*Ahlswede, R.; Ahlswede, A.; Althöfer, I.; Deppe, Ch.; Tamm, U. (Hrsg.): Storing and Transmitting Data. Springer International Publishing, 2014
 
*Blahut, R. E.: Principles and Practice of Information Theory. 4. Aufl. Reading, Massachusetts: Addison-Wesley, 1991. ISBN 978-0-20110-709-8
 
*Bodden, E.; Clasen, M.; Kneis, J.: Algebraische Kodierung. Proseminar. Lehrstuhl für Informatik IV, RWTH Aachen, 2002
 
*Cover, T. M.; Thomas, J. A.: Elements of Information Theory. 2. Aufl. Hoboken, N.J: Wiley-Interscience, 2006. ISBN 978-0-47124-195-9
 
*Csiszar, I.; Körner, J.: Information Theory: Coding Theorems for Discrete Memoryless System. Cambridge University Press, 2. Auflage, 2011.  ISBN: 978-0-52119-681-9
 
*Fano, R. M.: Transmission of Information: A Statistical Theory of Communication. Cambridge, Mass.: MIT Press, 1968. ISBN 978-0-26256-169-3
 
*Forney, G. D.: Information Theory. Stanford University, 1972
 
*Friedrichs, B.: Kanalcodierung. Grundlagen und Anwendungen in modernen Kommunikationssystemen. Berlin u.a.: Springer, 1996. ISBN 3-540-58232-0
 
*Gallager, R. G.: Information Theory and Reliable Communication. New York NY u.a.: Wiley, 1968. ISBN 0-471-29048-3
 
*Hartley, R. V. L.: Transmission of Information. In: Bell System Technical Journal , 7, Nr. 3, pp. 535, 1928
 
*Johannesson, R.: Informationstheorie - Grundlage der (Tele-)Kommunikation. Bonn u.a.: Addison-Wesley, 1992. ISBN 3-89319-465-7
 
*Kramer, G.: Information Theory. Vorlesungsmanuskript, Lehrstuhl für Nachrichtentechnik. München: TU München, 2016
 
*Küpfmüller, K.: Die Entropie der deutschen Sprache, Fernmeldetechnische Zeitung, Nr. 7, S. 265–272, 1954
 
*McEliece, R. J.: The Theory of Information Theory and Coding. Volume 86. Cambridge: Cambridge University Press, 2004. ISBN 978-0-52183-185-7
 
*Mecking, M.: Information Theory. Vorlesungsmanuskript, Lehrstuhl für Nachrichtentechnik. TU München, 2009
 
*Proakis, J. G.; Salehi, M.: Communications Systems Engineering. 2. Aufl. Upper Saddle River, NJ: Prentice Hall, 2002. ISBN 0-130-95007-6
 
*Schönfeld, D.; Klimant, H.; Piotraschke, R.: Informations- und Kodierungstheorie. 4. Aufl. Wiesbaden: Vieweg+Teubner Verlag, 2012. ISBN 978-3-83480-647-5
 
*Shannon, C. E.: A Mathematical Theory of Communication, Bell System Technical Journal ,Band 27, Nr. 3, S. 379–423 und S.623-656, 1948
 
*Shannon, C. E.: Prediction and Entropy of Printed English, Bell System Technical Journal ,Band 30, Nr. 1, S. 50–64, 1951
 
*Wolfowitz, J.: Coding Theorems of Information Theory. Berlin: Springer, 1978. ISBN: 978-3-64266-824-1
 
*Wyner, A. D.; Ziv, J.: A Theorem on the Entropy of Certain Binary Sequencies and Applications, IEEE Transactions on Information Theory , IT- 19, Nr. 6, S. 769–772, 1973
 
 
 
[[LNTwww:Autoren#Informationstheorie|$\text{Hinweise zu den Autoren und den Materialien, von denen bei der Erstellung des Buches ausgegangen wurde.}$]]
 
  
  
 
__NOTOC__
 
__NOTOC__
 
__NOEDITSECTION__
 
__NOEDITSECTION__

Version vom 31. Dezember 2022, 16:59 Uhr

Seit den ersten Anfängen der Nachrichtenübertragung als ingenieurwissenschaftliche Disziplin war es das Bestreben vieler Ingenieure und Mathematiker,  ein quantitatives Maß zu finden für die

  • in einer  $\rm Nachricht$  $($hierunter verstehen wir „eine Zusammenstellung von Symbolen und/oder Zuständen“$)$
  • enthaltene  $\rm Information$  $($ganz allgemein: „die Kenntnis über irgend etwas“$)$.


Die  (abstrakte)  Information wird durch die  (konkrete)  Nachricht mitgeteilt und kann als Interpretation einer Nachricht aufgefasst werden.

⇒   Claude Elwood Shannon  gelang es 1948,  eine in sich konsistente Theorie über den Informationsgehalt von Nachrichten zu begründen,  die zu ihrer Zeit revolutionär war und ein neues,  bis heute hochaktuelles Wissenschaftsgebiet kreierte:  die nach ihm benannte  $\text{Shannonsche Informationstheorie}$.


Hier zunächst eine  Inhaltsübersicht  anhand der  vier Hauptkapitel  mit insgesamt  13 Einzelkapiteln.

Inhalt

Neben diesen Theorieseiten bieten wir auch Aufgaben und multimediale Module an,  die zur Verdeutlichung des Lehrstoffes beitragen könnten:



$\text{Weitere Links:}$

$(1)$    $\text{Literaturempfehlungen zum Buch}$

$(2)$    $\text{Allgemeine Hinweise zum Buch}$   $($Autoren,  weitere Beteiligte,  Materialien als Ausgangspunkt des Buches,  Quellenverzeichnis$)$