Applets:Korrelation und Regressionsgerade: Unterschied zwischen den Versionen

Aus LNTwww
Wechseln zu:Navigation, Suche
Zeile 3: Zeile 3:
 
==Programmbeschreibung==
 
==Programmbeschreibung==
 
<br>
 
<br>
In diesem Applet werden binäre&nbsp; $(M=2)$&nbsp; und ternäre&nbsp; $(M=3)$&nbsp; Kanalmodelle ohne Gedächtnis betrachtet mit jeweils&nbsp; $M$&nbsp; Eingängen&nbsp; $X$&nbsp; und&nbsp; $M$&nbsp; Ausgängen&nbsp; $Y$.&nbsp; Ein solches Nachrichtensystem ist durch die Wahrscheinlichkeitsfunktion&nbsp; $P_X(X)$&nbsp; und die Matrix&nbsp; $P_{\hspace{0.01cm}Y\hspace{0.03cm} \vert \hspace{0.01cm}X}(Y\hspace{0.03cm}  \vert \hspace{0.03cm} X)$&nbsp; der Übergangswahrscheinlichkeiten vollständig bestimmt.
 
  
Für diese binären bzw. ternären Systeme werden folgende informationstheoretische Beschreibungsgrößen hergeleitet und verdeutlicht:
 
*die&nbsp; ''Quellenentropie'' &nbsp; $H(X)$&nbsp; und die&nbsp; ''Sinkenentropie'' &nbsp; $H(Y)$,
 
*die&nbsp; ''Äquivokation'' &nbsp; (&bdquo;Rückschlussentropie&rdquo;)&nbsp; $H(X|Y)$&nbsp; und die &nbsp; ''Irrelevanz'' (&bdquo;Streuentropie&rdquo;)&nbsp; $H(Y|X)$,
 
*die&nbsp; ''Verbundentropie'' &nbsp; $H(XY)$&nbsp; sowie die ''Transinformation''&nbsp; (englisch:&nbsp; ''Mutual Information'')&nbsp; $I(X; Y)$,
 
*die&nbsp; ''Kanalkapazität'' &nbsp; als die entscheidende Kenngröße digitaler Kanalmodelle ohne Gedächtnis:
 
:$$C = \max_{P_X(X)} \hspace{0.15cm}  I(X;Y)  \hspace{0.05cm}.$$
 
 
Diese informationstheoretische Größen können sowohl in analytische geschlossener Form berechnet oder durch Auswertung von Quellen&ndash; und Sinkensymbolfolge simulativ ermittelt werden. 
 
  
 
==Theoretischer Hintergrund==
 
==Theoretischer Hintergrund==
 
<br>
 
<br>
===Erwartungswerte zweidimensionaler Zufallsgrößen===
+
===Erwartungswerte von 2D&ndash;Zufallsgrößen und Korrelationskoeffizient===
<br>
+
 
Ein Sonderfall der statistischen Abhängigkeit ist die ''Korrelation''.  
+
Wir betrachten eine zweidimensionale&nbsp; $\rm (2D)$&ndash;Zufallsgröße&nbsp; $(XY)$&nbsp; mit der Wahrscheinlichkeitsdichtefunktion&nbsp; $\rm (WDF)$&nbsp; $f_{XY}(x, y)$, wobei zwischen den Einzelkomponenten&nbsp; $X$&nbsp; und&nbsp; $Y$&nbsp; statistische Abhängigkeiten bestehen.&nbsp;  Ein Sonderfall ist die ''Korrelation''.
  
 
{{BlaueBox|TEXT=   
 
{{BlaueBox|TEXT=   
$\text{Definition:}$&nbsp; Unter&nbsp; '''Korrelation'''&nbsp; versteht man eine ''lineare Abhängigkeit''&nbsp; zwischen den Einzelkomponenten&nbsp; $x$&nbsp; und&nbsp; $y$.  
+
$\text{Definition:}$&nbsp; Unter&nbsp; '''Korrelation'''&nbsp; versteht man eine ''lineare Abhängigkeit''&nbsp; zwischen den Einzelkomponenten&nbsp; $X$&nbsp; und&nbsp; $Y$.  
 
*Korrelierte Zufallsgrößen sind damit stets auch statistisch abhängig.  
 
*Korrelierte Zufallsgrößen sind damit stets auch statistisch abhängig.  
*Aber nicht jede statistische Abhängigkeit bedeutet gleichzeitig eine Korrelation.}}  
+
*Aber nicht jede statistische Abhängigkeit bedeutet gleichzeitig eine Korrelation.}}
  
  
Zur quantitativen Erfassung der Korrelation verwendet man verschiedene Erwartungswerte der 2D-Zufallsgröße&nbsp; $(x, y)$.
+
Für das Folgende setzen wir voraus, dass&nbsp; $X$&nbsp; und&nbsp; $Y$&nbsp; mittelwertfrei seien&nbsp; ${\rm E}\big [ X \big ] = {\rm E}\big [ Y \big ]=0$.&nbsp; Zur Beschreibung der Korrelation genügen dann folgende Erwartungswerte:
 +
* die&nbsp; '''Varianzen'''&nbsp; in&nbsp; $X$&ndash;&nbsp; bzw. in&nbsp; $Y$&ndash;Richtung:
 +
:$$\sigma_X^2= {\rm E}\big [ X^2 \big ] = \int_{-\infty}^{+\infty}\hspace{0.2cm}x^2 \cdot f_{X}(x) \, {\rm d}x\hspace{0.05cm},\hspace{0.5cm}\sigma_Y^2= {\rm E}\big [Y^2 \big ] = \int_{-\infty}^{+\infty}\hspace{0.2cm}y^2 \cdot f_{Y}(y) \, {\rm d}y\hspace{0.05cm};$$
 +
* die&nbsp; '''Kovarianz'''&nbsp; zwischen den Einzelkomponenten&nbsp; $X$&nbsp; und&nbsp; $Y$:
 +
:$$\mu_{XY}= {\rm E}\big [ X \cdot Y \big ] =  \int_{-\infty}^{+\infty}\hspace{0.2cm}\int_{-\infty}^{+\infty} x\ \cdot y \cdot f_{XY}(x,y) \, {\rm d}x\, {\rm d}y\hspace{0.05cm}.$$
  
Diese sind analog  definiert zum eindimensionalen Fall 
+
Bei statististischer Unabhängigkeit der beiden Komponenten&nbsp; $X$&nbsp; und&nbsp; $Y$&nbsp; ist die Kovarianz&nbsp; $\mu_{XY} \equiv 0$.&nbsp;
*gemäß&nbsp; [[Stochastische_Signaltheorie/Momente_einer_diskreten_Zufallsgröße|Kapitel 2]]&nbsp; (bei wertdiskreten Zufallsgrößen)
+
 
*bzw.&nbsp; [[Stochastische_Signaltheorie/Erwartungswerte_und_Momente|Kapitel 3]]&nbsp; (bei wertkontinuierlichen Zufallsgrößen):
+
*Das Ergebnis&nbsp; $\mu_{XY} = 0$&nbsp; ist aber auch bei statistisch abhängigen Komponenten&nbsp; $X$&nbsp; und&nbsp; $Y$&nbsp; möglich, nämlich dann, wenn diese unkorreliert, also&nbsp;   ''linear unabhängig''&nbsp; sind.
   
+
*Die statistische Abhängigkeit ist dann nicht von erster, sondern von höherer Ordnung, zum Beispiel entsprechend der Gleichung&nbsp; $Y=X^2.$
  
{{BlaueBox|TEXT= 
 
$\text{Definition:}$&nbsp; Für die (nichtzentrierten)&nbsp; '''Momente'''&nbsp; gilt die Beziehung:
 
:$$m_{kl}={\rm E}\big[x^k\cdot y^l\big]=\int_{-\infty}^{+\infty}\hspace{0.2cm}\int_{-\infty}^{+\infty} x\hspace{0.05cm}^{k} \cdot y\hspace{0.05cm}^{l} \cdot f_{xy}(x,y) \, {\rm d}x\, {\rm d}y.$$
 
Die beiden linearen Mittelwerte sind somit&nbsp; $m_x = m_{10}$&nbsp; und&nbsp; $m_y = m_{01}.$ }}
 
  
 +
Man spricht von&nbsp; '''vollständiger Korrelation''', wenn die (deterministische) Abhängigkeit zwischen&nbsp; $X$&nbsp; und&nbsp;  $Y$&nbsp;  durch die Gleichung&nbsp; $Y = K · X$&nbsp; ausgedrückt wird. Dann ergibt sich  für die Kovarianz:
 +
* $\mu_{XY} = σ_X · σ_Y$&nbsp; bei positivem Wert von&nbsp; $K$,
 +
* $\mu_{XY} = -σ_X · σ_Y$&nbsp; bei negativem&nbsp; $K$&ndash;Wert. 
  
{{BlaueBox|TEXT= 
 
$\text{Definition:}$&nbsp; Die auf&nbsp; $m_x$&nbsp; bzw.&nbsp; $m_y$&nbsp; bezogenen&nbsp; '''Zentralmomente'''&nbsp; lauten:
 
:$$\mu_{kl} = {\rm E}\big[(x-m_{x})\hspace{0.05cm}^k \cdot (y-m_{y})\hspace{0.05cm}^l\big] .$$
 
In dieser allgemein gültigen Definitionsgleichung sind die Varianzen&nbsp; $σ_x^2$&nbsp; und&nbsp; $σ_y^2$&nbsp; der zwei Einzelkomponenten durch&nbsp; $\mu_{20}$&nbsp; bzw.&nbsp; $\mu_{02}$&nbsp; mit enthalten. }}
 
  
 +
Deshalb verwendet man häufig als Beschreibungsgröße anstelle der Kovarianz den so genannten Korrelationskoeffizienten.
  
 
{{BlaueBox|TEXT=   
 
{{BlaueBox|TEXT=   
$\text{Definition:}$&nbsp; Besondere Bedeutung besitzt die&nbsp; '''Kovarianz'''&nbsp; $(k = l = 1)$, die ein Maß für die ''lineare statistische Abhängigkeit''&nbsp; zwischen den Zufallsgrößen&nbsp; $x$&nbsp; und&nbsp; $y$&nbsp; ist:
+
$\text{Definition:}$&nbsp; Der&nbsp; '''Korrelationskoeffizient'''&nbsp; ist der Quotient aus der Kovarianz&nbsp; $\mu_{XY}$&nbsp; und dem Produkt der Effektivwerte&nbsp; $σ_X$&nbsp; und&nbsp; $σ_Y$&nbsp; der beiden Komponenten:  
:$$\mu_{11} = {\rm E}\big[(x-m_{x})\cdot(y-m_{y})\big] = \int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} (x-m_{x}) \cdot (y-m_{y})\cdot f_{xy}(x,y) \,{\rm d}x \,  {\rm d}y .$$
+
:$$\rho_{XY}=\frac{\mu_{XY} } {\sigma_X \cdot \sigma_Y}.$$}}
Im Folgenden bezeichnen wir die Kovarianz&nbsp; $\mu_{11}$&nbsp; teilweise auch mit&nbsp; $\mu_{xy}$, falls sich die Kovarianz auf die Zufallsgrößen&nbsp; $x$&nbsp; und&nbsp; $y$&nbsp; bezieht.}}  
 
  
  
''Anmerkungen:''
+
Der Korrelationskoeffizient&nbsp; $\rho_{XY}$&nbsp; weist folgende Eigenschaften auf:  
*Die Kovarianz&nbsp; $\mu_{11}=\mu_{xy}$&nbsp; hängt wie folgt mit dem nichtzentrierten Moment $m_{11} = m_{xy} = {\rm E}\big[x · y\big]$ zusammen:
+
*Aufgrund der Normierung gilt stets&nbsp; $-1 \le  ρ_{XY} ≤ +1$.
:$$\mu_{xy} = m_{xy} -m_{x }\cdot m_{y}.$$
+
*Sind die beiden Zufallsgrößen&nbsp; $x$&nbsp; und&nbsp; $y$&nbsp; unkorreliert, so ist&nbsp; $ρ_{XY} = 0$.
 +
*Bei strenger linearer Abhängigkeit zwischen&nbsp; $X$&nbsp; und&nbsp; $Y$&nbsp; ist&nbsp; $ρ_{XY}= ±1$ &nbsp; &rArr; &nbsp; vollständige Korrelation.
 +
*Ein positiver Korrelationskoeffizient bedeutet, dass bei größerem&nbsp; $X$–Wert im statistischen Mittel auch&nbsp; $Y$&nbsp; größer ist als bei kleinerem&nbsp; $X$.  
 +
*Dagegen drückt ein negativer Korrelationskoeffizient aus, dass&nbsp; $Y$&nbsp; mit steigendem&nbsp; $X$&nbsp; im Mittel kleiner wird. 
  
*Diese Gleichung ist für numerische Auswertungen enorm vorteilhaft, da&nbsp; $m_{xy}$,&nbsp; $m_x$&nbsp; und&nbsp; $m_y$&nbsp; aus den Folgen&nbsp; $〈x_v〉$&nbsp; und&nbsp; $〈y_v〉$&nbsp; in einem einzigen Durchlauf gefunden werden können.
 
*Würde man dagegen die Kovarianz&nbsp; $\mu_{xy}$&nbsp; entsprechend der oberen Definitionsgleichung berechnen, so müsste man in einem ersten Durchlauf die Mittelwerte&nbsp; $m_x$&nbsp; und&nbsp; $m_y$&nbsp; ermitteln und könnte dann erst in einem zweiten Durchlauf den Erwartungswert&nbsp; ${\rm E}\big[(x - m_x) · (y - m_y)\big]$&nbsp; berechnen.
 
  
 
+
[[Datei:Korrelation_1a.png|right|frame| 2D-WDF&nbsp; $f_{XY}(x, y)$&nbsp; sowie die zugehörigen Randwahrscheinlichkeitsdichten&nbsp; $f_{X}(x)$&nbsp; und&nbsp; $f_{Y}(y)$]]
[[Datei:P_ID628__Sto_T_4_1_S6Neu.png |right|frame| Beispielhafte 2D-Erwartungswerte]]  
 
 
{{GraueBox|TEXT=   
 
{{GraueBox|TEXT=   
$\text{Beispiel 4:}$&nbsp; In den beiden ersten Zeilen der Tabelle sind die jeweils ersten Elemente zweier Zufallsfolgen&nbsp; $〈x_ν〉$&nbsp; und&nbsp; $〈y_ν〉$&nbsp; eingetragen.&nbsp; In der letzten Zeile sind die jeweiligen Produkte&nbsp; $x_ν · y_ν$&nbsp; angegeben.
+
$\text{Beispiel 1:}$&nbsp; Die 2D&ndash;Zufallsgröße&nbsp; $XY$&nbsp; sei diskret und kann nur vier verschiedene Werte annehmen:
+
*$(+0.5,\ 0)$&nbsp; sowie $(-0.5,\ 0)$&nbsp; jeweils mit der Wahrscheinlichkeit&nbsp; $0.3$,
*Durch Mittelung über die jeweils zehn Folgenelemente erhält man&nbsp;
+
*$(+1,\ +1)$&nbsp; sowie $(+1,\ -1)$&nbsp; jeweils mit der Wahrscheinlichkeit&nbsp; $0.2$.
:$$m_x =0.5,\ \ m_y = 1, \ \ m_{xy} = 0.69.$$
 
*Daraus ergibt sich direkt der Wert für die Kovarianz:
 
:$$\mu_{xy} = 0.69 - 0.5 · 1 = 0.19.$$  
 
<br clear=all>
 
Ohne Kenntnis der Gleichung&nbsp; $\mu_{xy} = m_{xy} - m_x · m_y$&nbsp; hätte man zunächst im ersten Durchlauf die Mittelwerte&nbsp; $m_x$&nbsp; und&nbsp; $m_y$&nbsp; ermitteln müssen, <br>um dann in einem zweiten Durchlauf die Kovarianz&nbsp; $\mu_{xy}$&nbsp; als Erwartungswert des Produkts der mittelwertfreien Größen bestimmen zu können.}}
 
 
 
===Korrelationskoeffizient===
 
<br>
 
Bei statististischer Unabhängigkeit der beiden Komponenten&nbsp; $x$&nbsp; und&nbsp; $y$&nbsp; ist die Kovarianz&nbsp; $\mu_{xy} \equiv 0$.&nbsp; Dieser Fall wurde bereits im&nbsp; $\text{Beispiel 2}$&nbsp; auf der Seite&nbsp; [[Stochastische_Signaltheorie/Zweidimensionale_Zufallsgrößen#WDF_und_VTF_bei_statistisch_unabh.C3.A4ngigen_Komponenten|WDF und VTF bei statistisch unabhängigen Komponenten]]&nbsp; betrachtet.
 
  
*Das Ergebnis&nbsp; $\mu_{xy} = 0$&nbsp; ist aber auch bei statistisch abhängigen Komponenten&nbsp; $x$&nbsp; und&nbsp; $y$&nbsp; möglich, nämlich dann, wenn diese unkorreliert, also&nbsp;    ''linear unabhängig''&nbsp; sind.
 
*Die  statistische Abhängigkeit ist dann nicht von erster, sondern von höherer Ordnung, zum Beispiel entsprechend der Gleichung&nbsp; $y=x^2.$
 
  
 +
$\rm (A)$&nbsp; Die Varianzen bzw. die Streuungen können aus &nbsp; $f_{X}(x)$&nbsp; und&nbsp; $f_{Y}(y)$&nbsp; berechnet werden:
 +
:$$\sigma_X^2 = 2 \cdot \big [0.2 \cdot 1^2 + 0.3 \cdot 0.5^2 \big] = 0.55\hspace{0.3cm}\Rightarrow\hspace{0.3cm}\sigma_X = 0.7416,$$
 +
:$$\sigma_Y^2 =  \big [0.2 \cdot (-1)^2 + 0.6 \cdot 0^2 +0.2 \cdot (+1)^2 \big] = 0.4\hspace{0.3cm}\Rightarrow\hspace{0.3cm}\sigma_Y = 0.6324.$$
  
Man spricht von&nbsp; '''vollständiger Korrelation''', wenn die (deterministische) Abhängigkeit zwischen&nbsp; $x$&nbsp; und&nbsp;  $y$&nbsp;  durch die Gleichung&nbsp; $y = K · x$&nbsp; ausgedrückt wird. Dann ergibt sich für die Kovarianz:
+
$\rm (B)$&nbsp; Für die Kovarianz ergibt sich der folgende Erwartungswert:
* $\mu_{xy} = σ_x · σ_y$&nbsp; bei positivem Wert von&nbsp; $K$,
+
:$$\mu_{XY}= {\rm E}\big [ X \cdot Y \big ] = 2 \cdot \big [0.2 \cdot 1 \cdot 1 + 0.3 \cdot 0.5 \cdot 0 \big] = 0.4.$$
* $\mu_{xy} = - σ_x · σ_y$&nbsp; bei negativem&nbsp; $K$&ndash;Wert. 
 
  
 +
$\rm (C)$&nbsp; Damit erhält man für den Korrelationskoeffizient:
 +
:$$\rho_{XY}=\frac{\mu_{XY} } {\sigma_X \cdot \sigma_Y}=\frac{0.4 } {0.7416 \cdot 0.6324 }\approx 0.853.
 +
$$}}
 +
<br clear=all>
  
Deshalb verwendet man häufig als Beschreibungsgröße anstelle der Kovarianz den so genannten Korrelationskoeffizienten.
+
===Dummy===
 
 
{{BlaueBox|TEXT=
 
$\text{Definition:}$&nbsp; Der&nbsp; '''Korrelationskoeffizient'''&nbsp; ist der Quotient aus der Kovarianz&nbsp; $\mu_{xy}$&nbsp; und dem Produkt der Effektivwerte&nbsp; $σ_x$&nbsp; und&nbsp; $σ_y$&nbsp; der beiden Komponenten:
 
:$$\rho_{xy}=\frac{\mu_{xy} }{\sigma_x \cdot \sigma_y}.$$}}
 
 
 
  
Der Korrelationskoeffizient&nbsp; $\rho_{xy}$&nbsp; weist folgende Eigenschaften auf:
 
*Aufgrund der Normierung gilt stets&nbsp;  $-1 \le  ρ_{xy}  ≤ +1$.
 
*Sind die beiden Zufallsgrößen&nbsp; $x$&nbsp; und&nbsp; $y$&nbsp; unkorreliert, so ist&nbsp; $ρ_{xy} = 0$.
 
*Bei strenger linearer Abhängigkeit zwischen&nbsp; $x$&nbsp; und&nbsp; $y$&nbsp; ist&nbsp; $ρ_{xy}= ±1$ &nbsp; &rArr; &nbsp; vollständige Korrelation.
 
*Ein positiver Korrelationskoeffizient bedeutet, dass bei größerem&nbsp; $x$–Wert im statistischen Mittel auch&nbsp; $y$&nbsp; größer ist als bei kleinerem&nbsp; $x$.
 
*Dagegen drückt ein negativer Korrelationskoeffizient aus, dass&nbsp; $y$&nbsp; mit steigendem&nbsp; $x$&nbsp; im Mittel kleiner wird. 
 
  
  
[[Datei:P_ID232__Sto_T_4_1_S7a_neu.png |right|frame| Gaußsche 2D-WDF mit Korrelation]]
 
{{GraueBox|TEXT= 
 
$\text{Beispiel 5:}$&nbsp;  Es gelten folgende Voraussetzungen:
 
*Die betrachteten Komponenten&nbsp; $x$&nbsp; und&nbsp; $y$&nbsp; besitzen jeweils eine gaußförmige WDF.
 
*Die beiden Streuungen sind unterschiedlich&nbsp; $(σ_y < σ_x)$.
 
*Der Korrelationskoeffizient beträgt&nbsp; $ρ_{xy} = 0.8$.
 
 
 
Im Unterschied zum&nbsp; [[Stochastische_Signaltheorie/Zweidimensionale_Zufallsgrößen#WDF_und_VTF_bei_statistisch_unabh.C3.A4ngigen_Komponenten| Beispiel 2]]&nbsp; mit statistisch unabhängigen Komponenten &nbsp; &rArr; &nbsp; $ρ_{xy} = 0$&nbsp; $($trotz&nbsp; $σ_y < σ_x)$&nbsp; erkennt man, dass hier bei größerem&nbsp; $x$–Wert im statistischen Mittel auch&nbsp; $y$&nbsp; größer ist als bei kleinerem&nbsp; $x$.}}
 
  
  
Zeile 132: Zeile 97:
 
*Das interaktive Applet&nbsp;  [[Applets:Korrelationskoeffizient_%26_Regressionsgerade|Korrelationskoeffizient und Regressionsgerade]]&nbsp; verdeutlicht, dass sich im Allgemeinen&nbsp; $($falls&nbsp; $σ_y \ne σ_x)$&nbsp; für die Regression von&nbsp; $x$&nbsp; auf&nbsp; $y$&nbsp;  ein anderer Winkel und damit auch eine andere Regressionsgerade ergeben wird:  
 
*Das interaktive Applet&nbsp;  [[Applets:Korrelationskoeffizient_%26_Regressionsgerade|Korrelationskoeffizient und Regressionsgerade]]&nbsp; verdeutlicht, dass sich im Allgemeinen&nbsp; $($falls&nbsp; $σ_y \ne σ_x)$&nbsp; für die Regression von&nbsp; $x$&nbsp; auf&nbsp; $y$&nbsp;  ein anderer Winkel und damit auch eine andere Regressionsgerade ergeben wird:  
 
:$$\theta_{x\hspace{0.05cm}\rightarrow \hspace{0.05cm} y}={\rm arctan}\ (\frac{\sigma_{x}}{\sigma_{y}}\cdot \rho_{xy}).$$
 
:$$\theta_{x\hspace{0.05cm}\rightarrow \hspace{0.05cm} y}={\rm arctan}\ (\frac{\sigma_{x}}{\sigma_{y}}\cdot \rho_{xy}).$$
===Zugrunde liegendes Modell der Digitalsignalübertragung ===
 
 
Die Menge der möglichen&nbsp; '''Quellensymbole'''&nbsp; wird durch die diskrete Zufallsgröße&nbsp; $X$&nbsp; charakterisiert.&nbsp;
 
*Im binären Fall &nbsp; &rArr; &nbsp; $M_X= |X| = 2$&nbsp; gilt&nbsp; $X = \{\hspace{0.05cm}{\rm A}, \hspace{0.15cm} {\rm B} \hspace{0.05cm}\}$&nbsp; mit der Wahrscheinlichkeitsfunktion&nbsp; $($englisch:&nbsp; ''Probability Mass Function'',&nbsp; $\rm PMF)$  &nbsp; $P_X(X)= \big (p_{\rm A},\hspace{0.15cm}p_{\rm B}\big)$&nbsp; sowie den Quellensymbolwahrscheinlichkeiten&nbsp; $p_{\rm A}$&nbsp; und&nbsp; $p_{\rm B}=1- p_{\rm A}$.
 
*Entsprechend gilt für eine Ternärquelle&nbsp; &rArr; &nbsp; $M_X= |X| = 3$: &nbsp; &nbsp; $X = \{\hspace{0.05cm}{\rm A}, \hspace{0.15cm} {\rm B}, \hspace{0.15cm} {\rm C} \hspace{0.05cm}\}$, &nbsp; &nbsp; $P_X(X)= \big (p_{\rm A},\hspace{0.15cm}p_{\rm B},\hspace{0.15cm}p_{\rm C}\big)$, &nbsp; &nbsp; $p_{\rm C}=1- p_{\rm A}-p_{\rm B}$.
 
 
 
Die Menge der möglichen&nbsp; '''Sinkensymbole'''&nbsp; wird durch die diskrete Zufallsgröße&nbsp; $Y$&nbsp; charakterisiert.&nbsp; Diese entstammen der gleichen Symbolmenge wie die Quellensymbole &nbsp; &rArr; &nbsp; $M_Y=M_X = M$.&nbsp; Zur Vereinfachung der nachfolgenden Beschreibung bezeichnen wir diese mit Kleinbuchstaben, zum Beispiel für&nbsp; $M=3$: &nbsp;&nbsp; $Y = \{\hspace{0.05cm}{\rm a}, \hspace{0.15cm} {\rm b}, \hspace{0.15cm} {\rm c} \hspace{0.05cm}\}$. 
 
 
Der Zusammenhang zwischen den Zufallsgrößen&nbsp; $X$&nbsp; und&nbsp; $Y$&nbsp; ist durch ein&nbsp; '''digitales Kanalmodell ohne Gedächtnis'''&nbsp; $($englisch:&nbsp; ''Discrete Memoryless Channel'',&nbsp; $\rm DMC)$&nbsp; festgelegt. Die linke  Grafik zeigt dieses für&nbsp; $M=2$&nbsp; und die rechte  Grafik für&nbsp; $M=3$.
 
 
[[Datei:Transinf_1_neu.png|center|frame|Digitales Kanalmodell für&nbsp; $M=2$&nbsp; (links) und für&nbsp; $M=3$&nbsp; (rechts). <br>Bitte beachten Sie:&nbsp; In der rechten Grafik sind nicht alle Übergänge beschriftet]]
 
 
Die folgende Beschreibung gilt für den einfacheren Fall&nbsp; $M=2$.&nbsp; Für die Berechnung aller informationstheoretischer Größen im nächsten Abschnitt benötigen wir außer&nbsp; $P_X(X)$&nbsp; und&nbsp;  $P_Y(Y)$&nbsp; noch die zweidimensionalen Wahrscheinlichkeitsfunktionen&nbsp; $($jeweils eine&nbsp; $2\times2$&ndash;Matrix$)$&nbsp; aller
 
#&nbsp; [[Stochastische_Signaltheorie/Statistische_Abhängigkeit_und_Unabhängigkeit#Bedingte_Wahrscheinlichkeit|bedingten Wahrscheinlichkeiten]] &nbsp; &rArr; &nbsp; $P_{\hspace{0.01cm}Y\hspace{0.03cm} \vert \hspace{0.01cm}X}(Y\hspace{0.03cm}  \vert \hspace{0.03cm} X)$ &nbsp; &rArr; &nbsp; durch das DMC&ndash;Modell vorgegeben;
 
#&nbsp; [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Verbundwahrscheinlichkeit_und_Verbundentropie|Verbundwahrscheinlichkeiten]]&nbsp; &rArr; &nbsp; $P_{XY}(X,\hspace{0.1cm}Y)$;
 
#&nbsp; [[Stochastische_Signaltheorie/Statistische_Abhängigkeit_und_Unabhängigkeit#R.C3.BCckschlusswahrscheinlichkeit|Rückschlusswahrscheinlichkeiten]] &nbsp; &rArr; &nbsp; $P_{\hspace{0.01cm}X\hspace{0.03cm} \vert \hspace{0.03cm}Y}(X\hspace{0.03cm}  \vert \hspace{0.03cm} Y)$.
 
 
 
[[Datei:Transinf_2.png|right|frame|Betrachtetes Modell des Binärkanals]]
 
{{GraueBox|TEXT=
 
$\text{Beispiel 1}$:&nbsp; Wir betrachten den skizzierten Binärkanal.
 
* Die Verfälschungswahrscheinlichkeiten seien:
 
 
 
:$$\begin{align*}p_{\rm a\hspace{0.03cm}\vert \hspace{0.03cm}A}  & =  {\rm Pr}(Y\hspace{-0.1cm} = {\rm a}\hspace{0.05cm}\vert X \hspace{-0.1cm}= {\rm A}) = 0.95\hspace{0.05cm},\hspace{0.8cm}p_{\rm b\hspace{0.03cm}\vert \hspace{0.03cm}A}  =  {\rm Pr}(Y\hspace{-0.1cm} = {\rm b}\hspace{0.05cm}\vert X \hspace{-0.1cm}= {\rm A}) = 0.05\hspace{0.05cm},\\
 
p_{\rm a\hspace{0.03cm}\vert \hspace{0.03cm}B}  & =  {\rm Pr}(Y\hspace{-0.1cm} = {\rm a}\hspace{0.05cm}\vert X \hspace{-0.1cm}= {\rm B}) = 0.40\hspace{0.05cm},\hspace{0.8cm}p_{\rm b\hspace{0.03cm}\vert \hspace{0.03cm}B}  =  {\rm Pr}(Y\hspace{-0.1cm} = {\rm b}\hspace{0.05cm}\vert X \hspace{-0.1cm}= {\rm B}) = 0.60\end{align*}$$
 
 
:$$\Rightarrow \hspace{0.3cm}  P_{\hspace{0.01cm}Y\hspace{0.05cm} \vert \hspace{0.05cm}X}(Y\hspace{0.05cm}  \vert \hspace{0.05cm} X) =
 
\begin{pmatrix}
 
0.95  & 0.05\\
 
0.4 & 0.6
 
\end{pmatrix} \hspace{0.05cm}.$$
 
 
*Außerdem gehen wir von nicht gleichwahrscheinlichen Quellensymbolen aus:
 
 
:$$P_X(X) = \big ( p_{\rm A},\ p_{\rm B} \big )=
 
\big ( 0.1,\ 0.9 \big )
 
\hspace{0.05cm}.$$
 
 
*Für die Wahrscheinlichkeitsfunktion der Sinke ergibt sich somit:
 
 
 
:$$P_Y(Y) = \big [ {\rm Pr}( Y\hspace{-0.1cm} = {\rm a})\hspace{0.05cm}, \ {\rm Pr}( Y \hspace{-0.1cm}= {\rm b}) \big ] = \big ( 0.1\hspace{0.05cm},\ 0.9 \big ) \cdot
 
\begin{pmatrix}
 
0.95  & 0.05\\
 
0.4 & 0.6
 
\end{pmatrix} $$
 
 
:$$\Rightarrow \hspace{0.3cm}  {\rm Pr}( Y \hspace{-0.1cm}= {\rm a}) = 
 
0.1 \cdot 0.95 + 0.9 \cdot 0.4 = 0.455\hspace{0.05cm},\hspace{1.0cm}
 
{\rm Pr}( Y \hspace{-0.1cm}= {\rm b})  =  1 - {\rm Pr}( Y \hspace{-0.1cm}= {\rm a}) = 0.545.$$
 
 
*Die Verbundwahrscheinlichkeiten&nbsp; $p_{\mu \kappa} = \text{Pr}\big[(X = μ) ∩ (Y = κ)\big]$&nbsp; zwischen Quelle und Sinke sind:
 
 
:$$\begin{align*}p_{\rm Aa} & =  p_{\rm a} \cdot p_{\rm a\hspace{0.03cm}\vert \hspace{0.03cm}A} = 0.095\hspace{0.05cm},\hspace{0.5cm}p_{\rm Ab} =  p_{\rm b} \cdot p_{\rm b\hspace{0.03cm}\vert \hspace{0.03cm}A} = 0.005\hspace{0.05cm},\\
 
p_{\rm Ba} & =  p_{\rm a} \cdot p_{\rm a\hspace{0.03cm}\vert \hspace{0.03cm}B} = 0.360\hspace{0.05cm},
 
\hspace{0.5cm}p_{\rm Bb} =  p_{\rm b} \cdot p_{\rm b\hspace{0.03cm}\vert \hspace{0.03cm}B} = 0.540\hspace{0.05cm}.
 
\end{align*}$$
 
 
:$$\Rightarrow \hspace{0.3cm}  P_{XY}(X,\hspace{0.1cm}Y) =
 
\begin{pmatrix}
 
0.095  & 0.005\\
 
0.36 & 0.54
 
\end{pmatrix} \hspace{0.05cm}.$$
 
 
* Für die Rückschlusswahrscheinlichkeiten erhält man:
 
 
:$$\begin{align*}p_{\rm A\hspace{0.03cm}\vert \hspace{0.03cm}a} & =  p_{\rm Aa}/p_{\rm a} = 0.095/0.455 = 0.2088\hspace{0.05cm},\hspace{0.5cm}p_{\rm A\hspace{0.03cm}\vert \hspace{0.03cm}b}  =  p_{\rm Ab}/p_{\rm b} = 0.005/0.545 = 0.0092\hspace{0.05cm},\\
 
p_{\rm B\hspace{0.03cm}\vert \hspace{0.03cm}a} & =  p_{\rm Ba}/p_{\rm a} = 0.36/0.455 = 0.7912\hspace{0.05cm},\hspace{0.5cm}p_{\rm B\hspace{0.03cm}\vert \hspace{0.03cm}b}  =  p_{\rm Bb}/p_{\rm b} = 0.54/0.545 = 0.9908\hspace{0.05cm}
 
\end{align*}$$
 
 
:$$\Rightarrow \hspace{0.3cm}  P_{\hspace{0.01cm}X\hspace{0.05cm} \vert \hspace{0.05cm}Y}(X\hspace{0.05cm}  \vert \hspace{0.05cm} Y) =
 
\begin{pmatrix}
 
0.2088  & 0.0092\\
 
0.7912 & 0.9908
 
\end{pmatrix} \hspace{0.05cm}.$$ }}
 
<br clear=all><br><br>
 
===Definition und Interpretation verschiedener Entropiefunktionen ===
 
 
Im&nbsp; [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen|$\rm LNTwww$&ndash;Theorieteil]]&nbsp; werden alle für 2D&ndash;Zufallsgrößen relevanten Entropien definiert, die auch für die Digitalsignalübertragung gelten.&nbsp; Zudem finden Sie dort zwei Schaubilder, die den Zusammenhang zwischen den einzelnen Entropien illustrieren.&nbsp;
 
*Für die Digitalsignalübertragung ist die rechte Darstellung zweckmäßig, bei der die Richtung von der Quelle&nbsp; $X$&nbsp; zur Sinke&nbsp; $Y$&nbsp; erkennbar ist.&nbsp;
 
*Wir interpretieren nun ausgehend von dieser Grafik die einzelnen informationstheoretischen Größen.
 
 
 
[[Datei:P_ID2781__Inf_T_3_3_S2.png|center|frame|Zwei informationstheoretische Modelle für die Digitalsignalübertragung.
 
<br>Bitte beachten Sie:&nbsp; In der rechten Grafik ist&nbsp; $H_{XY}$&nbsp; nicht darstellbar]]
 
 
*Die&nbsp; '''Quellenentropie'''&nbsp; (englisch:&nbsp; ''Source Entropy''&nbsp;)&nbsp; $H(X)$&nbsp; bezeichnet den mittleren Informationsgehalt der Quellensymbolfolge.&nbsp; Mit dem Symbolumfang&nbsp; $|X|$&nbsp; gilt:
 
 
:$$H(X) = {\rm E} \left [ {\rm log}_2 \hspace{0.1cm} \frac{1}{P_X(X)}\right ] \hspace{0.1cm}
 
= -{\rm E} \big [ {\rm log}_2 \hspace{0.1cm}{P_X(X)}\big ] \hspace{0.2cm}
 
=\hspace{0.2cm} \sum_{\mu = 1}^{|X|}
 
P_X(x_{\mu}) \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{P_X(x_{\mu})} \hspace{0.05cm}.$$
 
 
*Die&nbsp; '''Äquivokation'''&nbsp; (auch&nbsp; ''Rückschlussentropie'' genannt, englisch:&nbsp; ''Equivocation''&nbsp;)&nbsp; $H(X|Y)$&nbsp; gibt den mittleren Informationsgehalt an, den ein Betrachter, der über die Sinke&nbsp; $Y$&nbsp; genau Bescheid weiß, durch Beobachtung der Quelle&nbsp; $X$&nbsp; gewinnt:
 
 
:$$H(X|Y) = {\rm E} \left [ {\rm log}_2 \hspace{0.1cm} \frac{1}{P_{\hspace{0.05cm}X\hspace{-0.01cm}|\hspace{-0.01cm}Y}(X\hspace{-0.01cm} |\hspace{0.03cm} Y)}\right ] \hspace{0.2cm}=\hspace{0.2cm} \sum_{\mu = 1}^{|X|} \sum_{\kappa = 1}^{|Y|}
 
P_{XY}(x_{\mu},\hspace{0.05cm}y_{\kappa}) \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{P_{\hspace{0.05cm}X\hspace{-0.01cm}|\hspace{0.03cm}Y}
 
(\hspace{0.05cm}x_{\mu}\hspace{0.03cm} |\hspace{0.05cm} y_{\kappa})}
 
\hspace{0.05cm}.$$
 
 
*Die Äquivokation ist der Anteil der Quellenentropie&nbsp; $H(X)$, der durch Kanalstörungen&nbsp; (bei digitalem Kanal:&nbsp; Übertragungsfehler)&nbsp; verloren geht.&nbsp; Es verbleibt die&nbsp; '''Transinformation'''&nbsp; (englisch:&nbsp; ''Mutual Information'')&nbsp; $I(X; Y)$, die zur Sinke gelangt:
 
 
:$$I(X;Y) = {\rm E} \left [ {\rm log}_2 \hspace{0.1cm} \frac{P_{XY}(X, Y)}{P_X(X) \cdot P_Y(Y)}\right ] \hspace{0.2cm}=\hspace{0.2cm} \sum_{\mu = 1}^{|X|} \sum_{\kappa = 1}^{|Y|}
 
P_{XY}(x_{\mu},\hspace{0.05cm}y_{\kappa}) \cdot {\rm log}_2 \hspace{0.1cm} \frac{P_{XY}(x_{\mu},\hspace{0.05cm}y_{\kappa})}{P_{\hspace{0.05cm}X}(\hspace{0.05cm}x_{\mu}) \cdot P_{\hspace{0.05cm}Y}(\hspace{0.05cm}y_{\kappa})}
 
\hspace{0.05cm} = H(X) - H(X|Y) \hspace{0.05cm}.$$
 
 
'''Hallo Veronika, bitte diese Gleichung an Beispielen überprüfen und mir zeigen, wie es geht. Ich stelle mich zu blöd!'''
 
 
*Die&nbsp; '''Irrelevanz'''&nbsp; (manchmal auch&nbsp; ''Streuentropie''&nbsp; genannt, englisch:&nbsp; ''Irrelevance'')&nbsp; $H(Y|X)$&nbsp; gibt den mittleren Informationsgehalt an, den ein Betrachter, der über die Quelle&nbsp; $X$&nbsp; genau Bescheid weiß, durch Beobachtung der Sinke&nbsp; $Y$&nbsp; gewinnt:
 
 
:$$H(Y|X) = {\rm E} \left [ {\rm log}_2 \hspace{0.1cm} \frac{1}{P_{\hspace{0.05cm}Y\hspace{-0.01cm}|\hspace{-0.01cm}X}(Y\hspace{-0.01cm} |\hspace{0.03cm} X)}\right ] \hspace{0.2cm}=\hspace{0.2cm} \sum_{\mu = 1}^{|X|} \sum_{\kappa = 1}^{|Y|}
 
P_{XY}(x_{\mu},\hspace{0.05cm}y_{\kappa}) \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{P_{\hspace{0.05cm}Y\hspace{-0.01cm}|\hspace{0.03cm}X}
 
(\hspace{0.05cm}y_{\kappa}\hspace{0.03cm} |\hspace{0.05cm} x_{\mu})}
 
\hspace{0.05cm}.$$
 
 
*Die&nbsp; '''Sinkenentropie'''&nbsp; $H(Y)$, der mittlere Informationsgehalt der Sinke, ist die Summe aus der nützlichen Transinformation&nbsp; $I(X; Y)$&nbsp; und der Irrelevanz&nbsp; $H(Y|X)$, die ausschließlich von Kanalfehlern herrührt:
 
 
 
:$$H(Y) = {\rm E} \left [ {\rm log}_2 \hspace{0.1cm} \frac{1}{P_Y(Y)}\right ] \hspace{0.1cm}
 
= -{\rm E} \big [ {\rm log}_2 \hspace{0.1cm}{P_Y(Y)}\big ] \hspace{0.2cm} =I(X;Y) + H(Y|X)
 
\hspace{0.05cm}.$$
 
 
*Die&nbsp; '''Verbundentropie'''&nbsp; $H(XY)$&nbsp; gibt ist den mittleren Informationsgehalt der 2D&ndash;Zufallsgröße&nbsp; $XY$&nbsp;an.&nbsp sie beschreibt zudem eine obere Schranke für die Summe aus Quellenentropie und Sinkenentropie:
 
 
:$$H(XY) = {\rm E} \left [ {\rm log} \hspace{0.1cm} \frac{1}{P_{XY}(X, Y)}\right ] = \sum_{\mu = 1}^{M}  \hspace{0.1cm} \sum_{\kappa = 1}^{K} \hspace{0.1cm}
 
P_{XY}(x_{\mu}\hspace{0.05cm}, y_{\kappa}) \cdot {\rm log} \hspace{0.1cm} \frac{1}{P_{XY}(x_{\mu}\hspace{0.05cm}, y_{\kappa})}\le H(X) + H(Y) \hspace{0.05cm}.$$
 
 
[[Datei:Transinf_2.png|right|frame|Betrachtetes Modell des Binärkanals]]
 
{{GraueBox|TEXT=
 
$\text{Beispiel 2}$:&nbsp; Es gelten die gleichen Voraussetzungen wie für das&nbsp; [[Applets:Transinformation_bei_binären_und_ternären_Nachrichtensystemen#Zugrunde_liegendes_Modell_der_Digitalsignal.C3.BCbertragung|$\text{Beispiel 1}$]]:&nbsp;
 
 
'''(1)'''&nbsp; Die Quellensymbole sind nicht gleichwahrscheinlich:
 
:$$P_X(X) = \big ( p_{\rm A},\ p_{\rm B} \big )=
 
\big ( 0.1,\ 0.9 \big )
 
\hspace{0.05cm}.$$
 
'''(2)'''&nbsp; Die Verfälschungswahrscheinlichkeiten seien: 
 
:$$\begin{align*}p_{\rm a\hspace{0.03cm}\vert \hspace{0.03cm}A}  & =  {\rm Pr}(Y\hspace{-0.1cm} = {\rm a}\hspace{0.05cm}\vert X \hspace{-0.1cm}= {\rm A}) = 0.95\hspace{0.05cm},\hspace{0.8cm}p_{\rm b\hspace{0.03cm}\vert \hspace{0.03cm}A}  =  {\rm Pr}(Y\hspace{-0.1cm} = {\rm b}\hspace{0.05cm}\vert X \hspace{-0.1cm}= {\rm A}) = 0.05\hspace{0.05cm},\\
 
p_{\rm a\hspace{0.03cm}\vert \hspace{0.03cm}B}  & =  {\rm Pr}(Y\hspace{-0.1cm} = {\rm a}\hspace{0.05cm}\vert X \hspace{-0.1cm}= {\rm B}) = 0.40\hspace{0.05cm},\hspace{0.8cm}p_{\rm b\hspace{0.03cm}\vert \hspace{0.03cm}B}  =  {\rm Pr}(Y\hspace{-0.1cm} = {\rm b}\hspace{0.05cm}\vert X \hspace{-0.1cm}= {\rm B}) = 0.60\end{align*}$$
 
 
:$$\Rightarrow \hspace{0.3cm}  P_{\hspace{0.01cm}Y\hspace{0.05cm} \vert \hspace{0.05cm}X}(Y\hspace{0.05cm}  \vert \hspace{0.05cm} X) =
 
\begin{pmatrix}
 
0.95  & 0.05\\
 
0.4 & 0.6
 
\end{pmatrix} \hspace{0.05cm}.$$
 
 
[[Datei:Inf_T_1_1_S4_vers2.png|frame|Binäre Entropiefunktion als Funktion von&nbsp; $p$|right]]
 
*Wegen Voraussetzung&nbsp; '''(1)'''&nbsp; erhält man so für die Quellenentropie mit der&nbsp; [[Informationstheorie/Gedächtnislose_Nachrichtenquellen#Bin.C3.A4re_Entropiefunktion|binären Entropiefunktion]]&nbsp; $H_{\rm bin}(p)$:&nbsp;
 
 
:$$H(X) =  p_{\rm A} \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p_{\rm A}\hspace{0.1cm} } + p_{\rm B} \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{p_{\rm B} }= H_{\rm bin} (p_{\rm A}) = H_{\rm bin} (0.1)= 0.469 \ {\rm bit}
 
\hspace{0.05cm};$$
 
 
::$$H_{\rm bin} (p) =  p \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm} } + (1 - p) \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{1 - p} \hspace{0.5cm}{\rm (Einheit\hspace{-0.15cm}: \hspace{0.15cm}bit\hspace{0.15cm}oder\hspace{0.15cm}bit/Symbol)}
 
\hspace{0.05cm}.$$
 
 
* Entsprechend gilt für die Sinkenentropie mit der PMF&nbsp; $P_Y(Y) = \big ( p_{\rm a},\ p_{\rm b} \big )=
 
\big ( 0.455,\ 0.545 \big )$:
 
:$$H(Y) =  H_{\rm bin} (0.455)= 0.994 \ {\rm bit}
 
\hspace{0.05cm}.$$
 
*Als nächstes berechnen wir die Verbundentropie:
 
:$$H(XY) =  p_{\rm Aa} \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p_{\rm Aa}\hspace{0.1cm} }+ p_{\rm Ab} \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p_{\rm Ab}\hspace{0.1cm} }+p_{\rm Ba} \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p_{\rm Ba}\hspace{0.1cm} }+ p_{\rm Bb} \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p_{\rm Bb}\hspace{0.1cm} }$$
 
:$$\Rightarrow \hspace{0.3cm}H(XY) =    0.095 \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{0.095 } +0.005 \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{0.005 }+0.36 \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{0.36 }+0.54 \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{0.54 }= 1.371 \ {\rm bit}
 
\hspace{0.05cm}.$$
 
 
Entsprechend dem oberen linken Schaubild sind somit auch die restlichen informationstheoretischen Größen berechenbar:
 
[[Datei:Transinf_4.png|right|frame|Informationstheoretisches Modell für&nbsp; $\text{Beispiel 2}$]]
 
 
*die&nbsp; '''Äquivokation'''&nbsp; (oder Rückschlussentropie):
 
 
:$$H(X \vert Y) \hspace{-0.01cm} =\hspace{-0.01cm}  H(XY) \hspace{-0.01cm} -\hspace{-0.01cm}  H(Y) \hspace{-0.01cm}  = \hspace{-0.01cm}  1.371\hspace{-0.01cm}  -\hspace{-0.01cm}  0.994\hspace{-0.01cm} =\hspace{-0.01cm}  0.377\ {\rm bit}
 
\hspace{0.05cm},$$
 
 
*die '''Irrelevanz'''&nbsp; (oder Streuentropie):
 
 
:$$H(Y \vert X) = H(XY) - H(X)  = 1.371 - 0.994 = 0.902\ {\rm bit}
 
\hspace{0.05cm}.$$
 
 
*die&nbsp; '''Transinformation'''&nbsp; (englisch&nbsp; ''Mutual Information''):
 
 
:$$I(X;Y) = H(X) + H(Y) - H(XY)  = 0.469 + 0.994 - 1.371 = 0.092\ {\rm bit}
 
\hspace{0.05cm},$$
 
 
Die Ergebnisse sind in nebenstehender Grafik  zusammengefasst.
 
 
''Anmerkung'':&nbsp; Äquivokation und Irrelevanz könnte man (allerdfings mit Mehraufwand) auch direkt aus den entsprechenden Wahrscheinlichkeitsfunktionen berechnen, zum Beispiel:
 
 
 
:$$H(Y \vert X) = \hspace{-0.2cm} \sum_{(x, y) \hspace{0.05cm}\in \hspace{0.05cm}XY} \hspace{-0.2cm} P_{XY}(x,\hspace{0.05cm}y) \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{P_{\hspace{0.05cm}Y\hspace{-0.01cm}\vert \hspace{0.03cm}X}
 
(\hspace{0.05cm}y\hspace{0.03cm} \vert \hspace{0.05cm} x)}= p_{\rm Aa} \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{p_{\rm a\hspace{0.03cm}\vert \hspace{0.03cm}A} } +
 
p_{\rm Ab} \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{p_{\rm b\hspace{0.03cm}\vert \hspace{0.03cm}A} } +
 
p_{\rm Ba} \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{p_{\rm a\hspace{0.03cm}\vert \hspace{0.03cm}B} } +
 
p_{\rm Bb} \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{p_{\rm b\hspace{0.03cm}\vert \hspace{0.03cm}B} } = 0.902 \ {\rm bit} \hspace{0.05cm}.$$}}
 
 
 
[[Datei:Transinf_3.png|right|frame|Betrachtetes Modell des Ternärkanals:<br>Rote Übergänge stehen für&nbsp; $p_{\rm a\hspace{0.03cm}\vert \hspace{0.03cm}A} = p_{\rm b\hspace{0.03cm}\vert \hspace{0.03cm}B} = p_{\rm c\hspace{0.03cm}\vert \hspace{0.03cm}C} = q$&nbsp; und blaue für&nbsp; $p_{\rm b\hspace{0.03cm}\vert \hspace{0.03cm}A} = p_{\rm c\hspace{0.03cm}\vert \hspace{0.03cm}A}  =\text{...}= p_{\rm b\hspace{0.03cm}\vert \hspace{0.03cm}C}= (1-q)/2$]]
 
{{GraueBox|TEXT=
 
$\text{Beispiel 3}$:&nbsp; Nun betrachten wir ein Übertragungssystem mit&nbsp; $M_X = M_Y = M=3$.&nbsp;
 
 
'''(1)'''&nbsp; Die Quellensymbole seien gleichwahrscheinlich:
 
:$$P_X(X) = \big ( p_{\rm A},\ p_{\rm B},\ p_{\rm C} \big )=
 
\big ( 1/3,\ 1/3,\ 1/3 \big )\hspace{0.30cm}\Rightarrow\hspace{0.30cm}H(X)={\rm log_2}\hspace{0.1cm}3 \approx 1.585 \ {\rm bit}
 
\hspace{0.05cm}.$$
 
'''(2)'''&nbsp; Das Kanalmodell ist symmetrisch &nbsp; &rArr; &nbsp; auch die Sinkensymbole sind gleichwahrscheinlich:
 
:$$P_Y(Y) = \big ( p_{\rm a},\ p_{\rm b},\ p_{\rm c} \big )=
 
\big ( 1/3,\ 1/3,\ 1/3 \big )\hspace{0.30cm}\Rightarrow\hspace{0.30cm}H(Y)={\rm log_2}\hspace{0.1cm}3 \approx 1.585 \ {\rm bit}
 
\hspace{0.05cm}.$$
 
'''(3)'''&nbsp; Die Verbundwahrscheinlichkeiten ergeben sich wie folgt:
 
:$$p_{\rm Aa}= p_{\rm Bb}= p_{\rm Cc}= q/M,$$
 
:$$p_{\rm Ab}= p_{\rm Ac}= p_{\rm Ba}= p_{\rm Bc} = p_{\rm Ca}= p_{\rm Cb} = (1-q)/(2M)$$
 
:$$\Rightarrow\hspace{0.30cm}H(XY) =  3 \cdot p_{\rm Aa} \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p_{\rm Aa}\hspace{0.1cm}  }+6 \cdot p_{\rm Ab} \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p_{\rm Ab}\hspace{0.1cm} }= \
 
\text{...} \ = q \cdot {\rm log_2}\hspace{0.1cm}\frac{M}{q }+ (1-q) \cdot {\rm log_2}\hspace{0.1cm}\frac{M}{(1-q)/2 }.$$
 
[[Datei:Transinf_10.png|right|frame|Einige Ergebnisse zum&nbsp; $\text{Beispiel 3}$]]
 
'''(4)'''&nbsp; Für die Transinformation erhält man nach einigen Umformungen unter Berücksichtigung der Gleichung&nbsp;
 
:$$I(X;Y) = H(X) + H(Y) - H(XY)\text{:}$$
 
:$$I(X;Y) = {\rm log_2}\ (M) - (1-q) -H_{\rm bin}(q).$$
 
* Bei fehlerfreier Ternärübertragung&nbsp; $(q=1)$&nbsp; gilt&nbsp; $I(X;Y) = H(X) = H(Y)={\rm log_2}\hspace{0.1cm}3$.
 
* Mit&nbsp; $q=0.8$&nbsp; sinkt die Transinformaion schon auf&nbsp; $I(X;Y) = 0.663$&nbsp; und mit&nbsp; $q=0.5$&nbsp; auf&nbsp; $0.085$&nbsp; bit.
 
*Der ungünstigste Fall aus informationstheoretischer Sicht ist&nbsp; $q=1/3$&nbsp; &rArr; &nbsp; $I(X;Y) = 0$.
 
*Dagegen ist der aus der aus Sicht der Übertragungstheorie ungünstigste Fall&nbsp; $q=0$&nbsp; &rArr; &nbsp; &bdquo;kein einziges Übertragungssymbol kommt richtig an&rdquo;&nbsp; aus informationstheoretischer Sicht gar nicht so schlecht.
 
* Um dieses gute Ergebnis nutzen zu können, ist allerdings sendeseitig eine Kanalcodierung erforderlich. }}
 
<br><br>
 
===Definition und Bedeutung der Kanalkapazität ===
 
 
Berechnet man die Transinformation&nbsp; $I(X, Y)$&nbsp; wie zuletzt im&nbsp; $\text{Beispiel 2}$&nbsp; ausgeführt,&nbsp; so hängt diese nicht nur vom diskreten gedächtnislosen Kanal&nbsp; (englisch:&nbsp; ''Discrete Memoryless Channel'',&nbsp; kurz DMC)&nbsp; ab, sondern auch von der Quellenstatistik  &nbsp;  ⇒  &nbsp;  $P_X(X)$&nbsp; ab.&nbsp; Ergo: &nbsp; '''Die Transinformation'''&nbsp; $I(X, Y)$&nbsp;''' ist keine reine Kanalkenngröße'''.
 
 
{{BlaueBox|TEXT=
 
$\text{Definition:}$&nbsp; Die von&nbsp; [https://de.wikipedia.org/wiki/Claude_Shannon Claude E. Shannon]&nbsp; eingeführte&nbsp; '''Kanalkapazität'''&nbsp; (englisch:&nbsp; ''Channel Capacity'')&nbsp; lautet gemäß seinem Standardwerk&nbsp; [Sha48]<ref name = ''Sha48''>Shannon, C.E.: ''A Mathematical Theory of Communication''. In: Bell Syst. Techn. J. 27 (1948), S. 379-423 und S. 623-656.</ref>:
 
 
:$$C = \max_{P_X(X)} \hspace{0.15cm}  I(X;Y)  \hspace{0.05cm}.$$
 
 
Oft wird die Zusatzeinheit „bit/Kanalzugriff” hinzugefügt,&nbsp; bei englischen Texten „bit/use”.&nbsp; Da nach dieser Definition stets die bestmögliche Quellenstatistik zugrunde liegt,&nbsp; hängt&nbsp; $C$&nbsp; nur von den Kanaleigenschaften &nbsp; ⇒ &nbsp; $P_{Y \vert X}(Y \vert X)$ ab,&nbsp; nicht jedoch von der Quellenstatistik &nbsp; ⇒ &nbsp; $P_X(X)$.&nbsp; }}
 
 
 
Shannon benötigte die Kanalbeschreibungsgröße&nbsp; $C$&nbsp; zur Formulierung des Kanalcodierungstheorems – eines der Highlights der von ihm begründeten Informationstheorie.
 
 
{{BlaueBox|TEXT=
 
$\text{Shannons Kanalcodierungstheorem:}$&nbsp;
 
*Zu jedem Übertragungskanal mit der Kanalkapazität&nbsp; $C > 0$&nbsp; existiert (mindestens) ein&nbsp; $(k, n)$–Blockcode,&nbsp; dessen (Block–)Fehlerwahrscheinlichkeit gegen Null geht,&nbsp; so lange die Coderate&nbsp; $R = k/n$&nbsp; kleiner oder gleich der Kanalkapazität ist: &nbsp; $R ≤ C.$
 
* Voraussetzung hierfür ist allerdings,&nbsp; dass für die Blocklänge dieses Codes gilt: &nbsp; $n → ∞.$
 
 
 
$\text{Umkehrschluss von Shannons Kanalcodierungstheorem:}$&nbsp;
 
 
Ist die Rate&nbsp;  $R$&nbsp; des verwendeten&nbsp; $(n$, $k)$–Blockcodes größer als die Kanalkapazität&nbsp; $C$,&nbsp; so ist niemals eine beliebig kleine Blockfehlerwahrscheinlichkeit nicht erreichbar.}}
 
 
 
[[Datei:Transinf_9.png|right|frame|Informationsheoretischer Größen für <br>verschiedene&nbsp; $p_{\rm A}$&nbsp; und&nbsp; $p_{\rm B}= 1- p_{\rm A}$ ]]
 
{{GraueBox|TEXT=
 
$\text{Beispiel 4}$:&nbsp; Wir betrachten den gleichen diskreten gedächtnislosen Kanal wie im &nbsp;$\text{Beispiel 2}$.&nbsp;
 
In diesem&nbsp;$\text{Beispiel 2}$&nbsp; wurden die Symbolwahrscheinlichkeiten&nbsp; $p_{\rm A} = 0.1$&nbsp; und&nbsp; $p_{\rm B}= 1- p_{\rm A}=0.9$&nbsp; vorausgesetzt.&nbsp; Damit ergab sich die Transinformation zu&nbsp;  $I(X;Y)= 0.092$&nbsp; bit/Kanalzugriff &nbsp; &rArr; &nbsp; siehe erste Zeile, vierte Spalte in der Tabelle.
 
 
Die&nbsp; '''Kanalkapazität'''&nbsp; ist die Transinformation&nbsp; $I(X, Y)$&nbsp; bei bestmöglichen Symbolwahrscheinlichkeiten&nbsp; $p_{\rm A} = 0.55$&nbsp; und&nbsp; $p_{\rm B}= 1- p_{\rm A}=0.45$:
 
:$$C = \max_{P_X(X)} \hspace{0.15cm}  I(X;Y) = 0.284 \ \rm bit/Kanalzugriff \hspace{0.05cm}.$$
 
 
Aus der Tabelle erkennt man weiter&nbsp; (auf die Zusatzeinheit &bdquo;bit/Kanalzugriff&bdquo; verzichten wir im Folgenden):
 
*Der Parameter&nbsp; $p_{\rm A} = 0.1$&nbsp; war sehr ungünstig gewählt, weil beim vorliegenden Kanal das Symbol&nbsp; $\rm A$&nbsp; mehr verfälscht wird als&nbsp; $\rm B$.&nbsp; Schon mit&nbsp; $p_{\rm A} = 0.9$&nbsp; ergibt sich ein etwas besserer Wert:&nbsp; $I(X; Y)=0.130$.
 
*Aus dem gleichen Grund liefert&nbsp; $p_{\rm A} = 0.55$,&nbsp; $p_{\rm B} = 0.45$&nbsp; ein etwas besseres Ergebnis als gleichwahrscheinliche Symbole&nbsp; $p_{\rm A} = p_{\rm B} =0.5$.
 
*Je unsymmetrischer der Kanal ist, um so mehr weicht die optimale Wahrscheinlichkeitsfunktion&nbsp; $P_X(X)$&nbsp; von der Gleichverteilung ab.&nbsp; Im Umkehrschluss:&nbsp; Bei symmetrischem Kanal ergibt sich stets die Gleichverteilung.}}
 
 
 
Der Ternärkanal von &nbsp;$\text{Beispiel 3}$&nbsp; ist symmetrisch.&nbsp; Deshalb ist hier&nbsp; $P_X(X) = \big ( 1/3,\ 1/3,\ 1/3 \big )$&nbsp; für jeden&nbsp; $q$&ndash;Wert optimal, und die in der Ergebnistabelle angegebene Transinformation&nbsp;  $I(X;Y)$&nbsp; ist gleichzeitig die Kanalkapazität&nbsp;  $C$. 
 
 
 
  
  

Version vom 2. März 2020, 17:52 Uhr

Applet in neuem Tab öffnen

Programmbeschreibung



Theoretischer Hintergrund


Erwartungswerte von 2D–Zufallsgrößen und Korrelationskoeffizient

Wir betrachten eine zweidimensionale  $\rm (2D)$–Zufallsgröße  $(XY)$  mit der Wahrscheinlichkeitsdichtefunktion  $\rm (WDF)$  $f_{XY}(x, y)$, wobei zwischen den Einzelkomponenten  $X$  und  $Y$  statistische Abhängigkeiten bestehen.  Ein Sonderfall ist die Korrelation.

$\text{Definition:}$  Unter  Korrelation  versteht man eine lineare Abhängigkeit  zwischen den Einzelkomponenten  $X$  und  $Y$.

  • Korrelierte Zufallsgrößen sind damit stets auch statistisch abhängig.
  • Aber nicht jede statistische Abhängigkeit bedeutet gleichzeitig eine Korrelation.


Für das Folgende setzen wir voraus, dass  $X$  und  $Y$  mittelwertfrei seien  ${\rm E}\big [ X \big ] = {\rm E}\big [ Y \big ]=0$.  Zur Beschreibung der Korrelation genügen dann folgende Erwartungswerte:

  • die  Varianzen  in  $X$–  bzw. in  $Y$–Richtung:
$$\sigma_X^2= {\rm E}\big [ X^2 \big ] = \int_{-\infty}^{+\infty}\hspace{0.2cm}x^2 \cdot f_{X}(x) \, {\rm d}x\hspace{0.05cm},\hspace{0.5cm}\sigma_Y^2= {\rm E}\big [Y^2 \big ] = \int_{-\infty}^{+\infty}\hspace{0.2cm}y^2 \cdot f_{Y}(y) \, {\rm d}y\hspace{0.05cm};$$
  • die  Kovarianz  zwischen den Einzelkomponenten  $X$  und  $Y$:
$$\mu_{XY}= {\rm E}\big [ X \cdot Y \big ] = \int_{-\infty}^{+\infty}\hspace{0.2cm}\int_{-\infty}^{+\infty} x\ \cdot y \cdot f_{XY}(x,y) \, {\rm d}x\, {\rm d}y\hspace{0.05cm}.$$

Bei statististischer Unabhängigkeit der beiden Komponenten  $X$  und  $Y$  ist die Kovarianz  $\mu_{XY} \equiv 0$. 

  • Das Ergebnis  $\mu_{XY} = 0$  ist aber auch bei statistisch abhängigen Komponenten  $X$  und  $Y$  möglich, nämlich dann, wenn diese unkorreliert, also  linear unabhängig  sind.
  • Die statistische Abhängigkeit ist dann nicht von erster, sondern von höherer Ordnung, zum Beispiel entsprechend der Gleichung  $Y=X^2.$


Man spricht von  vollständiger Korrelation, wenn die (deterministische) Abhängigkeit zwischen  $X$  und  $Y$  durch die Gleichung  $Y = K · X$  ausgedrückt wird. Dann ergibt sich für die Kovarianz:

  • $\mu_{XY} = σ_X · σ_Y$  bei positivem Wert von  $K$,
  • $\mu_{XY} = -σ_X · σ_Y$  bei negativem  $K$–Wert.


Deshalb verwendet man häufig als Beschreibungsgröße anstelle der Kovarianz den so genannten Korrelationskoeffizienten.

$\text{Definition:}$  Der  Korrelationskoeffizient  ist der Quotient aus der Kovarianz  $\mu_{XY}$  und dem Produkt der Effektivwerte  $σ_X$  und  $σ_Y$  der beiden Komponenten:

$$\rho_{XY}=\frac{\mu_{XY} } {\sigma_X \cdot \sigma_Y}.$$


Der Korrelationskoeffizient  $\rho_{XY}$  weist folgende Eigenschaften auf:

  • Aufgrund der Normierung gilt stets  $-1 \le ρ_{XY} ≤ +1$.
  • Sind die beiden Zufallsgrößen  $x$  und  $y$  unkorreliert, so ist  $ρ_{XY} = 0$.
  • Bei strenger linearer Abhängigkeit zwischen  $X$  und  $Y$  ist  $ρ_{XY}= ±1$   ⇒   vollständige Korrelation.
  • Ein positiver Korrelationskoeffizient bedeutet, dass bei größerem  $X$–Wert im statistischen Mittel auch  $Y$  größer ist als bei kleinerem  $X$.
  • Dagegen drückt ein negativer Korrelationskoeffizient aus, dass  $Y$  mit steigendem  $X$  im Mittel kleiner wird.


2D-WDF  $f_{XY}(x, y)$  sowie die zugehörigen Randwahrscheinlichkeitsdichten  $f_{X}(x)$  und  $f_{Y}(y)$

$\text{Beispiel 1:}$  Die 2D–Zufallsgröße  $XY$  sei diskret und kann nur vier verschiedene Werte annehmen:

  • $(+0.5,\ 0)$  sowie $(-0.5,\ 0)$  jeweils mit der Wahrscheinlichkeit  $0.3$,
  • $(+1,\ +1)$  sowie $(+1,\ -1)$  jeweils mit der Wahrscheinlichkeit  $0.2$.


$\rm (A)$  Die Varianzen bzw. die Streuungen können aus   $f_{X}(x)$  und  $f_{Y}(y)$  berechnet werden:

$$\sigma_X^2 = 2 \cdot \big [0.2 \cdot 1^2 + 0.3 \cdot 0.5^2 \big] = 0.55\hspace{0.3cm}\Rightarrow\hspace{0.3cm}\sigma_X = 0.7416,$$
$$\sigma_Y^2 = \big [0.2 \cdot (-1)^2 + 0.6 \cdot 0^2 +0.2 \cdot (+1)^2 \big] = 0.4\hspace{0.3cm}\Rightarrow\hspace{0.3cm}\sigma_Y = 0.6324.$$

$\rm (B)$  Für die Kovarianz ergibt sich der folgende Erwartungswert:

$$\mu_{XY}= {\rm E}\big [ X \cdot Y \big ] = 2 \cdot \big [0.2 \cdot 1 \cdot 1 + 0.3 \cdot 0.5 \cdot 0 \big] = 0.4.$$

$\rm (C)$  Damit erhält man für den Korrelationskoeffizient:

$$\rho_{XY}=\frac{\mu_{XY} } {\sigma_X \cdot \sigma_Y}=\frac{0.4 } {0.7416 \cdot 0.6324 }\approx 0.853. $$


Dummy

Korrelationsgerade


Gaußsche 2D-WDF mit Korrelationsgerade

$\text{Definition:}$  Als  Korrelationsgerade  bezeichnet man die Gerade  $y = K(x)$  in der  $(x, y)$–Ebene durch den „Mittelpunkt”  $(m_x, m_y)$. Manchmal wird diese Gerade auch  Regressionsgerade  genannt.

Die Korrelationsgerade besitzt folgende Eigenschaften:

  • Die mittlere quadratische Abweichung von dieser Geraden – in  $y$–Richtung betrachtet und über alle  $N$  Punkte gemittelt – ist minimal:
$$\overline{\varepsilon_y^{\rm 2} }=\frac{\rm 1}{N} \cdot \sum_{\nu=\rm 1}^{N}\; \;\big [y_\nu - K(x_{\nu})\big ]^{\rm 2}={\rm Minimum}.$$
  • Die Korrelationsgerade kann als eine Art  „statistische Symmetrieachse“  interpretiert werden. Die Geradengleichung lautet:
$$y=K(x)=\frac{\sigma_y}{\sigma_x}\cdot\rho_{xy}\cdot(x - m_x)+m_y.$$


Der Winkel, den die Korrelationsgerade zur  $x$–Achse einnimmt, beträgt:

$$\theta_{y\hspace{0.05cm}\rightarrow \hspace{0.05cm}x}={\rm arctan}\ (\frac{\sigma_{y} }{\sigma_{x} }\cdot \rho_{xy}).$$

Durch diese Nomenklatur soll deutlich gemacht werden, dass es sich hier um die Regression von  $y$  auf  $x$  handelt.

  • Die Regression in Gegenrichtung – also von  $x$  auf  $y$ – bedeutet dagegen die Minimierung der mittleren quadratischen Abweichung in  $x$–Richtung.
  • Das interaktive Applet  Korrelationskoeffizient und Regressionsgerade  verdeutlicht, dass sich im Allgemeinen  $($falls  $σ_y \ne σ_x)$  für die Regression von  $x$  auf  $y$  ein anderer Winkel und damit auch eine andere Regressionsgerade ergeben wird:
$$\theta_{x\hspace{0.05cm}\rightarrow \hspace{0.05cm} y}={\rm arctan}\ (\frac{\sigma_{x}}{\sigma_{y}}\cdot \rho_{xy}).$$


Versuchsdurchführung

Exercises binomial fertig.png
  • Wählen Sie zunächst die Nummer 1 ... 6 der zu bearbeitenden Aufgabe.
  • Eine Aufgabenbeschreibung wird angezeigt. Die Parameterwerte sind angepasst.
  • Lösung nach Drücken von „Hide solution”.
  • Aufgabenstellung und Lösung in Englisch.


Die Nummer 0 entspricht einem „Reset”:

  • Gleiche Einstellung wie beim Programmstart.
  • Ausgabe eines „Reset–Textes” mit weiteren Erläuterungen zum Applet.


In der folgenden Beschreibung bedeutet

  • Blau:   Verteilungsfunktion 1 (im Applet blau markiert),
  • Rot:     Verteilungsfunktion 2 (im Applet rot markiert).


(1)  Setzen Sie Blau: Binomialverteilung $(I=5, \ p=0.4)$ und Rot: Binomialverteilung $(I=10, \ p=0.2)$.

Wie lauten die Wahrscheinlichkeiten ${\rm Pr}(z=0)$ und ${\rm Pr}(z=1)$?


$\hspace{1.0cm}\Rightarrow\hspace{0.3cm}\text{Blau: }{\rm Pr}(z=0)=0.6^5=7.78\%, \hspace{0.3cm}{\rm Pr}(z=1)=0.4 \cdot 0.6^4=25.92\%;$

$\hspace{1.85cm}\text{Rot: }{\rm Pr}(z=0)=0.8^10=10.74\%, \hspace{0.3cm}{\rm Pr}(z=1)=0.2 \cdot 0.8^9=26.84\%.$

(2)  Es gelten weiter die Einstellungen von (1). Wie groß sind die Wahrscheinlichkeiten ${\rm Pr}(3 \le z \le 5)$?


$\hspace{1.0cm}\Rightarrow\hspace{0.3cm}\text{Es gilt }{\rm Pr}(3 \le z \le 5) = {\rm Pr}(z=3) + {\rm Pr}(z=4) + {\rm Pr}(z=5)\text{, oder } {\rm Pr}(3 \le z \le 5) = {\rm Pr}(z \le 5) - {\rm Pr}(z \le 2)$.

$\hspace{1.85cm}\text{Blau: }{\rm Pr}(3 \le z \le 5) = 0.2304+ 0.0768 + 0.0102 =1 - 0.6826 = 0.3174;$

$\hspace{1.85cm}\text{Rot: }{\rm Pr}(3 \le z \le 5) = 0.2013 + 0.0881 + 0.0264 = 0.9936 - 0.6778 = 0.3158.$

(3)  Es gelten weiter die Einstellungen von (1). Wie unterscheiden sich der Mittelwert $m_1$ und die Streuung $\sigma$ der beiden Binomialverteilungen?


$\hspace{1.0cm}\Rightarrow\hspace{0.3cm}\text{Mittelwert:}\hspace{0.2cm}m_\text{1} = I \cdot p\hspace{0.3cm} \Rightarrow\hspace{0.3cm} m_\text{1, Blau} = 5 \cdot 0.4\underline{ = 2 =} \ m_\text{1, Rot} = 10 \cdot 0.2; $

$\hspace{1.85cm}\text{Streuung:}\hspace{0.4cm}\sigma = \sqrt{I \cdot p \cdot (1-p)} = \sqrt{m_1 \cdot (1-p)}\hspace{0.3cm}\Rightarrow\hspace{0.3cm} \sigma_{\rm Blau} = \sqrt{2 \cdot 0.6} =1.095 < \sigma_{\rm Rot} = \sqrt{2 \cdot 0.8} = 1.265.$

(4)  Setzen Sie Blau: Binomialverteilung $(I=15, p=0.3)$ und Rot: Poissonverteilung $(\lambda=4.5)$.

Welche Unterschiede ergeben sich zwischen beiden Verteilungen hinsichtlich Mittelwert $m_1$ und Varianz $\sigma^2$?


$\hspace{1.0cm}\Rightarrow\hspace{0.3cm}\text{Beide Verteilungern haben gleichen Mittelwert:}\hspace{0.2cm}m_\text{1, Blau} = I \cdot p\ = 15 \cdot 0.3\hspace{0.15cm}\underline{ = 4.5 =} \ m_\text{1, Rot} = \lambda$;

$\hspace{1.85cm} \text{Binomialverteilung: }\hspace{0.2cm} \sigma_\text{Blau}^2 = m_\text{1, Blau} \cdot (1-p)\hspace{0.15cm}\underline { = 3.15} \le \text{Poissonverteilung: }\hspace{0.2cm} \sigma_\text{Rot}^2 = \lambda\hspace{0.15cm}\underline { = 4.5}$;

(5)  Es gelten die Einstellungen von (4). Wie groß sind die Wahrscheinlichkeiten ${\rm Pr}(z \gt 10)$ und ${\rm Pr}(z \gt 15)$?


$\hspace{1.0cm}\Rightarrow\hspace{0.3cm} \text{Binomial: }\hspace{0.2cm} {\rm Pr}(z \gt 10) = 1 - {\rm Pr}(z \le 10) = 1 - 0.9993 = 0.0007;\hspace{0.3cm} {\rm Pr}(z \gt 15) = 0 \ {\rm (exakt)}$.

$\hspace{1.85cm}\text{Poisson: }\hspace{0.2cm} {\rm Pr}(z \gt 10) = 1 - 0.9933 = 0.0067;\hspace{0.3cm}{\rm Pr}(z \gt 15) \gt 0 \ ( \approx 0)$

$\hspace{1.85cm} \text{Näherung: }\hspace{0.2cm}{\rm Pr}(z \gt 15) \ge {\rm Pr}(z = 16) = \lambda^{16}/{16!}\approx 2 \cdot 10^{-22}$.

(6)  Es gelten weiter die Einstellungen von (4). Mit welchen Parametern ergeben sich symmetrische Verteilungen um $m_1$?


$\hspace{1.0cm}\Rightarrow\hspace{0.3cm} \text{Binomialverung mit }p = 0.5\text{: }p_\mu = {\rm Pr}(z = \mu)\text{ symmetrisch um } m_1 = I/2 = 7.5 \ ⇒ \ p_μ = p_{I–μ}\ ⇒ \ p_8 = p_7, \ p_9 = p_6, \text{usw.}$

$\hspace{1.85cm}\text{Die Poissonverteilung wird dagegen nie symmetrisch, da sie sich bis ins Unendliche erstreckt!}$

Zur Handhabung des Applets

Handhabung binomial.png

    (A)     Vorauswahl für blauen Parametersatz

    (B)     Parametereingabe $I$ und $p$ per Slider

    (C)     Vorauswahl für roten Parametersatz

    (D)     Parametereingabe $\lambda$ per Slider

    (E)     Graphische Darstellung der Verteilungen

    (F)     Momentenausgabe für blauen Parametersatz

    (G)     Momentenausgabe für roten Parametersatz

    (H)     Variation der grafischen Darstellung


$\hspace{1.5cm}$„$+$” (Vergrößern),

$\hspace{1.5cm}$ „$-$” (Verkleinern)

$\hspace{1.5cm}$ „$\rm o$” (Zurücksetzen)

$\hspace{1.5cm}$ „$\leftarrow$” (Verschieben nach links), usw.

    ( I )     Ausgabe von ${\rm Pr} (z = \mu)$ und ${\rm Pr} (z \le \mu)$

    (J)     Bereich für die Versuchsdurchführung

Andere Möglichkeiten zur Variation der grafischen Darstellung:

  • Gedrückte Shifttaste und Scrollen: Zoomen im Koordinatensystem,
  • Gedrückte Shifttaste und linke Maustaste: Verschieben des Koordinatensystems.

Über die Autoren

Dieses interaktive Berechnungstool wurde am Lehrstuhl für Nachrichtentechnik der Technischen Universität München konzipiert und realisiert.

  • Die erste Version wurde 2003 von Ji Li im Rahmen ihrer Diplomarbeit mit „FlashMX–Actionscript” erstellt (Betreuer: Günter Söder).
  • 2018 wurde das Programm von Jimmy He (Bachelorarbeit, Betreuer: Tasnád Kernetzky ) auf „HTML5” umgesetzt und neu gestaltet.

Nochmalige Aufrufmöglichkeit des Applets in neuem Fenster

Applet in neuem Tab öffnen