Digitalsignalübertragung/Grundlagen der codierten Übertragung: Unterschied zwischen den Versionen
Ayush (Diskussion | Beiträge) Die Seite wurde neu angelegt: „ {{Header |Untermenü= |Vorherige Seite= |Nächste Seite= }} Hier Wiki-Artikel einfügen. <math></math><br> <br> <br><br> [[Datei:||class=fit]]<br><br>…“ |
Ayush (Diskussion | Beiträge) Keine Bearbeitungszusammenfassung |
||
| Zeile 1: | Zeile 1: | ||
{{Header | {{Header | ||
|Untermenü= | |Untermenü=Codierte und mehrstufige Übertragung | ||
|Vorherige Seite= | |Vorherige Seite=Lineare digitale Modulation – Kohärente Demodulation | ||
|Nächste Seite= | |Nächste Seite=Redundanzfreie Codierung | ||
}} | }} | ||
== Informationsgehalt – Entropie – Redundanz (1) == | |||
<br> | |||
Wir gehen von einer <i>M</i>–stufigen digitalen Nachrichtenquelle aus, die das Quellensignal | |||
<br><br><math>q(t) = \sum_{(\nu)} a_\nu \cdot {\rm \delta} ( t - \nu \cdot T)\hspace{0.3cm}{\rm mit}\hspace{0.3cm}a_\nu \in \{ a_1, ... , a_\mu , ... , a_{ M}\}</math><br><br> | |||
abgibt. Die Quellensymbolfolge 〈<i>q<sub>ν</sub></i>〉 ist auf die Folge 〈<i>a<sub>ν</sub></i>〉 der dimensionslosen Amplitudenkoeffizienten abgebildet. Vereinfachend wird zunächst für die Zeitlaufvariable <i>ν</i> = 1, ... , <i>N</i> gesetzt, während der Vorratsindex <i>μ</i> stets Werte zwischen 1 und <i>M</i> annehmen kann.<br><br> | |||
Ist das <i>ν</i>–te Folgenelement gleich <i>a<sub>μ</sub></i>, so kann dessen Informationsgehalt mit der Wahrscheinlichkeit <i>p<sub>νμ</sub></i> = Pr(<i>a<sub>ν</sub></i> = <i>a<sub>μ</sub></i>) wie folgt berechnet werden: | |||
:<math>I_\nu = \log_2 \frac{1}{p_{\nu \mu}}= {\rm ld} \frac{1}{p_{\nu \mu}} \hspace{1cm}{\rm (Einheit: \hspace{0.15cm}bit)}\hspace{0.05cm}.</math><br> | |||
Der Logarithmus zur Basis 2 ⇒ log<sub>2</sub> wird oft auch mit „ld(<i>x</i>)” ⇒ <i>Logarithmus dualis</i> bezeichnet. Bei der numerischen Auswertung wird die Hinweiseinheit „bit” hinzugefügt. Mit dem Zehner-Logarithmus lg(<i>x</i>) bzw. dem natürlichen Logarithmus ln(<i>x</i>) gilt: | |||
:<math>{\rm log_2}(x) = \frac{{\rm lg}(x)}{{\rm lg}(2)}= \frac{{\rm ln}(x)}{{\rm ln}(2)}\hspace{0.05cm}.</math><br> | |||
Nach dieser auf C. E. Shannon zurückgehenden Definition von Information ist der Informationsgehalt eines Symbols umso größer, je kleiner dessen Auftrittswahrscheinlichkeit ist.<br> | |||
{{Definition}}''':''' Die Entropie ist der mittlere Informationsgehalt eines Folgenelements (Symbols). Diese wichtige informationstheoretische Größe lässt sich als Zeitmittelwert wie folgt ermitteln: | |||
:<math>H = \lim_{N \to \infty} \frac{1}{N} \cdot \sum_{\nu = 1}^N I_\nu = | |||
\lim_{N \to \infty} \frac{1}{N} \cdot \sum_{\nu = 1}^N \hspace{0.1cm}{\rm log_2}\hspace{0.05cm} \frac{1}{p_{\nu \mu}} \hspace{1cm}{\rm (Einheit: \hspace{0.15cm}bit)}\hspace{0.05cm}.</math><br> | |||
Natürlich kann die Entropie auch durch Scharmittelung berechnet werden. | |||
{{end}}<br> | |||
Sind die Folgenelemente <i>a<sub>ν</sub></i> statistisch voneinander unabhängig, so sind die Auftrittswahrscheinlichkeiten <i>p<sub>νμ</sub></i> = <i>p<sub>μ</sub></i> unabhängig von <i>ν</i> und man erhält in diesem Sonderfall für die Entropie: | |||
:<math>H = \sum_{\mu = 1}^M p_{ \mu} \cdot {\rm log_2}\hspace{0.1cm} \frac{1}{p_{ \mu}}\hspace{0.05cm}.</math><br> | |||
Bestehen dagegen statistische Bindungen zwischen benachbarten Amplitudenkoeffizienten <i>a<sub>ν</sub></i>, so muss zur Entropieberechnung die kompliziertere Definitionsgleichung herangezogen werden.<br> | |||
<math></math><br> | <math></math><br> | ||
<br> | <br> | ||
Version vom 20. Dezember 2016, 19:00 Uhr
Informationsgehalt – Entropie – Redundanz (1)
Wir gehen von einer M–stufigen digitalen Nachrichtenquelle aus, die das Quellensignal
[math]\displaystyle{ q(t) = \sum_{(\nu)} a_\nu \cdot {\rm \delta} ( t - \nu \cdot T)\hspace{0.3cm}{\rm mit}\hspace{0.3cm}a_\nu \in \{ a_1, ... , a_\mu , ... , a_{ M}\} }[/math]
abgibt. Die Quellensymbolfolge 〈qν〉 ist auf die Folge 〈aν〉 der dimensionslosen Amplitudenkoeffizienten abgebildet. Vereinfachend wird zunächst für die Zeitlaufvariable ν = 1, ... , N gesetzt, während der Vorratsindex μ stets Werte zwischen 1 und M annehmen kann.
Ist das ν–te Folgenelement gleich aμ, so kann dessen Informationsgehalt mit der Wahrscheinlichkeit pνμ = Pr(aν = aμ) wie folgt berechnet werden:
- [math]\displaystyle{ I_\nu = \log_2 \frac{1}{p_{\nu \mu}}= {\rm ld} \frac{1}{p_{\nu \mu}} \hspace{1cm}{\rm (Einheit: \hspace{0.15cm}bit)}\hspace{0.05cm}. }[/math]
Der Logarithmus zur Basis 2 ⇒ log2 wird oft auch mit „ld(x)” ⇒ Logarithmus dualis bezeichnet. Bei der numerischen Auswertung wird die Hinweiseinheit „bit” hinzugefügt. Mit dem Zehner-Logarithmus lg(x) bzw. dem natürlichen Logarithmus ln(x) gilt:
- [math]\displaystyle{ {\rm log_2}(x) = \frac{{\rm lg}(x)}{{\rm lg}(2)}= \frac{{\rm ln}(x)}{{\rm ln}(2)}\hspace{0.05cm}. }[/math]
Nach dieser auf C. E. Shannon zurückgehenden Definition von Information ist der Informationsgehalt eines Symbols umso größer, je kleiner dessen Auftrittswahrscheinlichkeit ist.
- [math]\displaystyle{ H = \lim_{N \to \infty} \frac{1}{N} \cdot \sum_{\nu = 1}^N I_\nu =
\lim_{N \to \infty} \frac{1}{N} \cdot \sum_{\nu = 1}^N \hspace{0.1cm}{\rm log_2}\hspace{0.05cm} \frac{1}{p_{\nu \mu}} \hspace{1cm}{\rm (Einheit: \hspace{0.15cm}bit)}\hspace{0.05cm}. }[/math]
Natürlich kann die Entropie auch durch Scharmittelung berechnet werden.
Sind die Folgenelemente aν statistisch voneinander unabhängig, so sind die Auftrittswahrscheinlichkeiten pνμ = pμ unabhängig von ν und man erhält in diesem Sonderfall für die Entropie:
- [math]\displaystyle{ H = \sum_{\mu = 1}^M p_{ \mu} \cdot {\rm log_2}\hspace{0.1cm} \frac{1}{p_{ \mu}}\hspace{0.05cm}. }[/math]
Bestehen dagegen statistische Bindungen zwischen benachbarten Amplitudenkoeffizienten aν, so muss zur Entropieberechnung die kompliziertere Definitionsgleichung herangezogen werden.
[math]\displaystyle{ }[/math]
[[Datei:||class=fit]]
