Stochastische Signaltheorie/Verallgemeinerung auf N-dimensionale Zufallsgrößen: Unterschied zwischen den Versionen

Aus LNTwww
Wechseln zu:Navigation, Suche
 
(21 dazwischenliegende Versionen von 2 Benutzern werden nicht angezeigt)
Zeile 6: Zeile 6:
 
}}
 
}}
 
==Korrelationsmatrix==
 
==Korrelationsmatrix==
Bisher wurden nur statistische Bindungen zwischen zwei (skalaren) Zufallsgrößen betrachtet. Für den allgemeineren Fall einer Zufallsgröße mit $N$ Dimensionen bietet sich zweckmäßigerweise eine Vektor- bzw. Matrixdarstellung an. Für die folgende Beschreibung wird vorausgesetzt:  
+
<br>
*Die $N$–dimensionale Zufallsgröße wird als Vektor dargestellt:  
+
Bisher wurden nur statistische Bindungen zwischen zwei&nbsp; (skalaren)&nbsp; Zufallsgrößen betrachtet.&nbsp; Für den allgemeineren Fall einer Zufallsgröße mit&nbsp; $N$&nbsp; Dimensionen bietet sich zweckmäßigerweise eine Vektor&ndash; bzw. Matrixdarstellung an.  
:$${\mathbf{x}} = [\hspace{0.03cm}x_1, \hspace{0.03cm}x_2,
+
 
\hspace{0.1cm}... \hspace{0.1cm}, \hspace{0.03cm}x_N]^{\rm T}.$$
+
Für die folgende Beschreibung wird vorausgesetzt:  
:Hierbei ist $\mathbf{x}$ ein Spaltenvektor, was aus dem Zusatz „T” – dies steht für „transponiert” – des angegebenen Zeilenvektors hervorgeht.  
+
*Die&nbsp; $N$–dimensionale Zufallsgröße wird als Vektor dargestellt:  
*Die $N$ Komponenten $x_i$ seien jeweils eindimensionale reelle Gaußsche Zufallsgrößen.  
+
:$${\mathbf{x}} = \big[\hspace{0.03cm}x_1, \hspace{0.03cm}x_2,
 +
\hspace{0.1cm}\text{...} \hspace{0.1cm}, \hspace{0.03cm}x_N \big]^{\rm T}.$$
 +
:Hierbei ist&nbsp; $\mathbf{x}$&nbsp; ein Spaltenvektor,&nbsp; was aus dem Zusatz&nbsp; $\rm T$&nbsp; – dies steht für „transponiert” – des angegebenen Zeilenvektors hervorgeht.  
 +
*Die&nbsp; $N$&nbsp; Komponenten&nbsp; $x_i$&nbsp; seien jeweils eindimensionale reelle Gaußsche Zufallsgrößen.
 +
 
 +
 
 +
{{BlaueBox|TEXT= 
 +
$\text{Definition:}$&nbsp;
 +
Statistische Bindungen zwischen den&nbsp; $N$&nbsp; Zufallsgrößen werden durch die&nbsp; '''Korrelationsmatrix'''&nbsp; vollständig beschrieben:
 +
:$${\mathbf{R} } =\big[ R_{ij} \big] = \left[ \begin{array}{cccc}R_{11} & R_{12} & \cdots & R_{1N} \\ R_{21} & R_{22}& \cdots & R_{2N} \\ \cdots & \cdots & \cdots &\cdots \\ R_{N1} & R_{N2} & \cdots & R_{NN}  \end{array} \right] .$$
 +
*Die&nbsp; $N^2$&nbsp; Elemente dieser&nbsp; $N×N$-Matrix geben jeweils das gemeinsame Moment erster Ordnung zwischen zwei Komponenten an:
 +
:$$R_{ij}= { {\rm E}\big[x_i \cdot x_j \big] } = R_{ji} .$$
 +
*In Vektorschreibweise lautet somit die Korrelationsmatrix:
 +
:$$\mathbf{R}= {\rm E\big[\mathbf{x} \cdot {\mathbf{x} }^{\rm T} \big] } .$$}}
 +
 
 +
 
 +
'''Bitte beachten Sie''':
 +
*$\mathbf{x}$&nbsp; ist ein Spaltenvektor mit&nbsp; $N$&nbsp; Dimensionen und der transponierte Vektor&nbsp; $\mathbf{x}^{\rm T}$&nbsp; ist ein Zeilenvektor gleicher Länge &nbsp; &rArr; &nbsp; das Produkt&nbsp; $\mathbf{x} · \mathbf{x}^{\rm T}$&nbsp; ergibt eine&nbsp; $N×N$&ndash;Matrix.
 +
*Dagegen wäre&nbsp; $\mathbf{x}^{\rm T}· \mathbf{x}$&nbsp; eine&nbsp; $1×1$&ndash;Matrix,&nbsp; also ein Skalar.
 +
*Für den hier nicht weiter betrachteten Sonderfall komplexer Komponenten&nbsp; $x_i$&nbsp; sind auch die Matrixelemente komplex:
 +
:$$R_{ij}= {{\rm E}\big[x_i \cdot x_j^{\star} \big]} = R_{ji}^{\star} .$$
 +
*Die Realteile der Korrelationsmatrix&nbsp; ${\mathbf{R} }$&nbsp; sind weiterhin symmetrisch zur Hauptdiagonalen,&nbsp; während sich die  Imaginärteile durch das Vorzeichen unterscheiden.  
  
  
Statistische Bindungen zwischen den $N$ Zufallsgrößen werden durch die Korrelationsmatrix vollständig beschrieben:
 
:$${\mathbf{R}} =\left[ R_{ij} \right] = \left[ \begin{array}{cccc}R_{11} & R_{12} & \cdots & R_{1N} \\ R_{21} & R_{22}& \cdots & R_{2N} \\ \cdots & \cdots & \cdots &\cdots \\ R_{N1} & R_{N2} & \cdots & R_{NN}  \end{array} \right] .$$
 
Die $N^2$ Elemente dieser $N×N$-Matrix geben jeweils das gemeinsame Moment erster Ordnung zwischen zwei Komponenten an:
 
:$$R_{ij}= {{\rm E}[x_i \cdot x_j ]} = R_{ji} .$$
 
In Vektorschreibweise lautet somit die Korrelationsmatrix:
 
:$$\mathbf{R}= {\rm E[\mathbf{x} \cdot {\mathbf{x}}^{\rm T} ]} .$$
 
Da $\mathbf{x}$ ein Spaltenvektor mit $N$ Dimensionen ist und somit der transponierte Vektor $\mathbf{x}^{\rm T}$ ein Zeilenvektor gleicher Länge, ergibt das Produkt $\mathbf{x} · \mathbf{x}^{\rm T}$ eine $N×N$-Matrix. Dagegen wäre $\mathbf{x}^{\rm T}· \mathbf{x}$ eine $1×1$-Matrix, also ein Skalar. Für den hier nicht weiter betrachteten Sonderfall komplexer Komponenten $x_i$ sind auch die Matrixelemente komplex:
 
:$$R_{ij}= {{\rm E}[x_i \cdot x_j^{\star} ]} = R_{ji}^{\star} .$$
 
Die Realteile der Korrelationsmatrix sind weiterhin symmetrisch zur Hauptdiagonalen, während sich die dazugehörigen Imaginärteile durch das Vorzeichen unterscheiden.
 
  
 
==Kovarianzmatrix==
 
==Kovarianzmatrix==
Man kommt von der Korrelationsmatrix $\mathbf{R} =\left[ R_{ij} \right]$ zur so genannten Kovarianzmatrix  
+
<br>
:$${\mathbf{K}} =\left[ K_{ij} \right] = \left[ \begin{array}{cccc} K_{11} & K_{12} & \cdots & K_{1N} \\ K_{21} & K_{22}& \cdots & K_{2N} \\ \cdots & \cdots & \cdots & \cdots \\ K_{N1} & K_{N2} & \cdots & K_{NN}  \end{array} \right] ,$$
+
{{BlaueBox|TEXT= 
wenn die Matrixelemente $K_{ij} = {\rm E}[(x_i – m_i) · (x_j – m_j)]$ jeweils ein Zentralmoment erster Ordnung angeben. Mit dem Vektor $\mathbf{m} = [m_1, m_2, ... , m_N]^{\rm T}$ kann somit auch geschrieben werden:
+
$\text{Definition:}$&nbsp; Man kommt von der Korrelationsmatrix&nbsp; $\mathbf{R} =\left[ R_{ij} \right]$&nbsp; zur so genannten&nbsp; '''Kovarianzmatrix'''
:$$\mathbf{K}= {{\rm E}[(\mathbf{x} - \mathbf{m})  (\mathbf{x} - \mathbf{m})^{\rm T} ]} .$$
+
:$${\mathbf{K} } =\big[ K_{ij} \big] = \left[ \begin{array}{cccc}K_{11} & K_{12} & \cdots & K_{1N} \\ K_{21} & K_{22}& \cdots & K_{2N} \\ \cdots & \cdots & \cdots &\cdots \\ K_{N1} & K_{N2} & \cdots & K_{NN}  \end{array} \right] ,$$
  
Es soll ausdrücklich darauf hingewiesen werden, dass $m_1$ den Mittelwert der Komponente $x_1$ und $m_2$ den Mittelwert von $x_2$ bezeichnet – nicht etwa das Moment erster bzw. zweiter Ordnung.  
+
wenn die Matrixelemente&nbsp; $K_{ij} = {\rm E}\big[(x_i – m_i) · (x_j – m_j)\big]$&nbsp; jeweils ein&nbsp; [[Stochastische_Signaltheorie/Erwartungswerte_und_Momente#Zentralmomente|Zentralmoment erster Ordnung]]&nbsp; angeben.  
  
 +
*Mit dem Vektor&nbsp; $\mathbf{m} = [m_1, m_2$, ... , $m_N]^{\rm T}$&nbsp; kann somit auch geschrieben werden:
 +
:$$\mathbf{K}= { {\rm E}\big[(\mathbf{x} - \mathbf{m})  (\mathbf{x} - \mathbf{m})^{\rm T} \big] } .$$
  
Die Matrix $\mathbf{K}$ zeigt bei reellen mittelwertfreien Gauß–Größen folgende weitere Eigenschaften:  
+
*Es sei ausdrücklich darauf hingewiesen, dass&nbsp; $m_1$&nbsp; den Mittelwert der Komponente&nbsp; $x_1$&nbsp; und&nbsp; $m_2$&nbsp; den Mittelwert&nbsp; von $x_2$&nbsp; bezeichnet – nicht etwa das Moment erster bzw. zweiter Ordnung. }}
*Das Element der $i$-ten Zeile und $j$-ten Spalte lautet mit den beiden Streuungen $σ_i$ und $σ_j$ und dem [[Stochastische_Signaltheorie/Zweidimensionale_Zufallsgrößen#Korrelationskoeffizient|Korrelationskoeffizienten]]  $ρ_{ij}$. Formelmäßig gilt $K_{ij} = σ_i · σ_j · ρ_{ij} = K_{ji}.$  
+
 
*Berücksichtigt man noch die Beziehung $ρ_{ii} =$ 1, so erhält man für die Kovarianzmatrix:  
+
 
 +
Die Kovarianzmatrix&nbsp; $\mathbf{K}$&nbsp; zeigt bei reellen mittelwertfreien Gauß–Größen folgende weitere Eigenschaften:  
 +
*Das Element der&nbsp; $i$-ten Zeile und&nbsp; $j$-ten Spalte lautet mit den beiden Streuungen&nbsp; $σ_i$&nbsp; und&nbsp; $σ_j$&nbsp; und dem&nbsp; [[Stochastische_Signaltheorie/Zweidimensionale_Zufallsgrößen#Korrelationskoeffizient|Korrelationskoeffizienten]]&nbsp; $ρ_{ij}$:
 +
:$$K_{ij} = σ_i · σ_j · ρ_{ij} = K_{ji}.$$  
 +
*Berücksichtigt man noch die Beziehung&nbsp; $ρ_{ii} = 1$, so erhält man für die Kovarianzmatrix:  
 
:$${\mathbf{K}} =\left[ K_{ij} \right] = \left[ \begin{array}{cccc}
 
:$${\mathbf{K}} =\left[ K_{ij} \right] = \left[ \begin{array}{cccc}
\sigma_{1}^2 & \sigma_{1}\sigma_{2}\rho_{12} & \cdots & \sigma_{1}\sigma_{N}\rho_{1N} \\
+
\sigma_{1}^2 & \sigma_{1}\cdot \sigma_{2}\cdot\rho_{12} & \cdots & \sigma_{1}\cdot \sigma_{N} \cdot \rho_{1N} \\
\sigma_{2}\sigma_{1}\rho_{21} & \sigma_{2}^2& \cdots & \sigma_{2}\sigma_{N}\rho_{2N} \\ \cdots & \cdots & \cdots & \cdots \\ \sigma_{N}\sigma_{1}\rho_{N1} & \sigma_{N}\sigma_{2}\rho_{N2} &
+
\sigma_{2} \cdot \sigma_{1} \cdot \rho_{21} & \sigma_{2}^2& \cdots & \sigma_{2} \cdot \sigma_{N} \cdot\rho_{2N} \\ \cdots & \cdots & \cdots & \cdots \\ \sigma_{N} \cdot \sigma_{1} \cdot \rho_{N1} & \sigma_{N}\cdot \sigma_{2} \cdot\rho_{N2} &
 
\cdots & \sigma_{N}^2 \end{array} \right] .$$
 
\cdots & \sigma_{N}^2 \end{array} \right] .$$
*Aufgrund der Beziehung $ρ_{ij} = ρ_{ji}$ ist die Kovarianzmatrix bei reellen Größen symmetrisch zur Hauptdiagonalen. Bei komplexen Größen würde dagegen $ρ_{ij} = ρ_{ji}^{\star}$ gelten.  
+
*Aufgrund der Beziehung&nbsp; $ρ_{ij} = ρ_{ji}$&nbsp; ist die Kovarianzmatrix bei reellen Größen stets symmetrisch zur Hauptdiagonalen.&nbsp;  Bei komplexen Größen würde&nbsp; $ρ_{ij} = ρ_{ji}^{\star}$&nbsp; gelten.  
  
  
{{Beispiel}}''':'''&nbsp; Wir betrachten die drei Kovarianzmatrizen:  
+
{{GraueBox|TEXT= 
 +
$\text{Beispiel 1:}$&nbsp; Wir betrachten die drei Kovarianzmatrizen:  
 
:$${\mathbf{K}_2} = \left[ \begin{array}{cc}
 
:$${\mathbf{K}_2} = \left[ \begin{array}{cc}
 
1 & -0.5 \\
 
1 & -0.5 \\
 
-0.5 & 1
 
-0.5 & 1
 
\end{array} \right],
 
\end{array} \right],
\hspace{0.2cm}{\mathbf{K}_3} = 4 \cdot \left[ \begin{array}{ccc}
+
\hspace{0.9cm}{\mathbf{K}_3} = 4 \cdot \left[ \begin{array}{ccc}
 
1 & 1/2 & 1/4\\
 
1 & 1/2 & 1/4\\
 
1/2 & 1 & 3/4 \\
 
1/2 & 1 & 3/4 \\
 
1/4 & 3/4 & 1
 
1/4 & 3/4 & 1
\end{array}\right], \hspace{0.2cm}{\mathbf{K}_4} =
+
\end{array}\right], \hspace{0.9cm}{\mathbf{K}_4} =
 
\left[
 
\left[
 
\begin{array}{cccc}
 
\begin{array}{cccc}
Zeile 61: Zeile 80:
 
\end{array} \right].$$
 
\end{array} \right].$$
  
* $\mathbf{K}_2$ beschreibt eine 2D–Zufallsgröße, wobei der Korrelationskoeffizient $ρ$ zwischen den zwei Komponenten $–0.5$ beträgt und beide Komponenten die Streuung $σ = 1$ aufweisen.  
+
* $\mathbf{K}_2$&nbsp; beschreibt eine zweidimensionale Zufallsgröße, wobei der Korrelationskoeffizient&nbsp; $ρ$&nbsp; zwischen den zwei Komponenten&nbsp; $-0.5$&nbsp; beträgt und beide Komponenten die Streuung&nbsp; $σ = 1$&nbsp; aufweisen.  
*Bei der 3D-Zufallsgröße gemäß $\mathbf{K}_3$ haben alle Komponenten die gleiche Streuung $σ = 2$. Die stärksten Bindungen bestehen zwischen $x_2$ und $x_3$, wobei $ρ_{23} = 3/4$ gilt.  
+
*Bei der dreidimensionalen Zufallsgröße gemäß&nbsp; $\mathbf{K}_3$&nbsp; haben alle Komponenten die gleiche Streuung&nbsp; $σ = 2$ &nbsp; (bitte Vorfaktor beachten). &nbsp; Die stärksten Bindungen bestehen hier zwischen&nbsp; $x_2$&nbsp; und&nbsp; $x_3$,&nbsp; wobei&nbsp; $ρ_{23} = 3/4$&nbsp; gilt.  
*Die vier Komponenten der durch $\mathbf{K}_4$ gekennzeichneten Zufallsgröße sind unkorreliert, bei Gaußscher WDF auch statistisch unabhängig. Die Varianzen sind $σ_i^2 = i^2$ für $i = 1$, ... , $4$ &nbsp; &rArr; &nbsp;  Streuungen $σ_i = i$.  
+
*Die vier Komponenten der durch&nbsp; $\mathbf{K}_4$&nbsp; gekennzeichneten vierdimensionalen Zufallsgröße sind unkorreliert,&nbsp; bei Gaußscher WDF auch statistisch unabhängig.&nbsp; Die Varianzen sind&nbsp; $σ_i^2 = i^2$&nbsp; für&nbsp; $i = 1$, ... , $4$&nbsp; &nbsp; &rArr; &nbsp;  Streuungen $σ_i = i$. }}
 
 
{{end}}
 
  
 
==Zusammenhang zwischen Kovarianzmatrix und WDF==
 
==Zusammenhang zwischen Kovarianzmatrix und WDF==
Die ''Wahrscheinlichkeitsdichtefunktion'' einer $N$-dimensionalen Gaußschen Zufallsgröße $\mathbf{x}$ lautet:  
+
<br>
:$$\mathbf{f_x}(\mathbf{x})= \frac{1}{\sqrt{(2 \pi)^N \cdot
+
{{BlaueBox|TEXT= 
|\mathbf{K}|}}\cdot {\rm exp}{\left[-\frac{1}{2}\cdot(\mathbf{x} -
+
$\text{Definition:}$&nbsp; Die&nbsp; '''Wahrscheinlichkeitsdichtefunktion'''&nbsp; $\rm (WDF)$&nbsp; einer&nbsp; $N$-dimensionalen Gaußschen Zufallsgröße&nbsp; $\mathbf{x}$&nbsp;  lautet:  
\mathbf{m})^{\rm T}\cdot\mathbf{K}^{-1} \cdot(\mathbf{x} -
+
:$$f_\mathbf{x}(\mathbf{x})= \frac{1}{\sqrt{(2 \pi)^N \cdot  
\mathbf{m}) \right]} .$$
+
\vert\mathbf{K}\vert } }\hspace{0.05cm}\cdot \hspace{0.05cm} {\rm e}^{-1/2\hspace{0.05cm}\cdot \hspace{0.05cm}(\mathbf{x} -
 +
\mathbf{m})^{\rm T}\hspace{0.05cm}\cdot \hspace{0.05cm}\mathbf{K}^{-1} \hspace{0.05cm}\cdot \hspace{0.05cm}(\mathbf{x} -
 +
\mathbf{m}) } .$$
  
Hierbei bezeichnen:  
+
Hierbei bezeichnet:  
* $\mathbf{x}$ den Spaltenvektor der betrachteten $N$-dimensionalen Zufallsgröße,  
+
* $\mathbf{x}$&nbsp; den Spaltenvektor der betrachteten&nbsp; $N$&ndash;dimensionalen Zufallsgröße,  
* $\mathbf{m}$ den Spaltenvektor der zugehörigen Mittelwerte,  
+
* $\mathbf{m}$&nbsp; den Spaltenvektor der zugehörigen Mittelwerte,  
* $|\mathbf{K}|$ die Determinante der $N×N$–Kovarianzmatrix $\mathbf{K}$ – eine skalare Größe,  
+
* $\vert \mathbf{K}\vert$&nbsp; die Determinante der&nbsp; $N×N$–Kovarianzmatrix&nbsp; $\mathbf{K}$&nbsp; &nbsp; eine skalare Größe,  
* $\mathbf{K}^{−1}$ die Inverse von $\mathbf{K}$; diese ist ebenfalls eine $N×N$-Matrix.  
+
* $\mathbf{K}^{−1}$&nbsp; die Inverse von&nbsp; $\mathbf{K}$;&nbsp; diese ist ebenfalls eine&nbsp; $N×N$-Matrix.}}
  
  
Die Multiplikationen des Zeilenvektors $(\mathbf{x} – \mathbf{m})^{\rm T}$, der Matrix $\mathbf{K}^{–1}$ und des Spaltenvektors $(\mathbf{x} – \mathbf{m})$ ergibt im Argument der Exponentialfunktion erwartungsgemäß ein Skalar.  
+
Die Multiplikationen des Zeilenvektors&nbsp; $(\mathbf{x} – \mathbf{m})^{\rm T}$,&nbsp; der inversen Matrix&nbsp; $\mathbf{K}^{–1}$&nbsp; und des&nbsp; Spaltenvektors&nbsp; $(\mathbf{x} – \mathbf{m})$&nbsp; ergibt im Argument der Exponentialfunktion ein Skalar.  
  
 
+
{{GraueBox|TEXT= 
{{Beispiel}}''':'''&nbsp; Wir betrachten wie im [[Stochastische_Signaltheorie/Verallgemeinerung_auf_N-dimensionale_Zufallsgrößen#Kovarianzmatrix|Beispiel auf der letzten Seite]] wieder eine 4D-Zufallsgröße $\mathbf{x}$, deren Kovarianzmatrix nur auf der Hauptdiagonalen besetzt ist:  
+
$\text{Beispiel 2:}$&nbsp; Wir betrachten wie im&nbsp; [[Stochastische_Signaltheorie/Verallgemeinerung_auf_N-dimensionale_Zufallsgrößen#Kovarianzmatrix|$\text{Beispiel 1}$]]&nbsp; wieder eine vierdimensionale Zufallsgröße&nbsp; $\mathbf{x}$, deren Kovarianzmatrix nur auf der Hauptdiagonalen besetzt ist:  
$${\mathbf{K}} = \left[
+
;$${\mathbf{K} } = \left[
 
\begin{array}{cccc}
 
\begin{array}{cccc}
 
\sigma_{1}^2 & 0 & 0 & 0 \\
 
\sigma_{1}^2 & 0 & 0 & 0 \\
Zeile 92: Zeile 111:
 
0 & 0 & 0 & \sigma_{4}^2
 
0 & 0 & 0 & \sigma_{4}^2
 
\end{array} \right].$$
 
\end{array} \right].$$
Deren Determinante ist $|\mathbf{K}| = σ_1^2 · σ_2^2 · σ_3^2 · σ_4^2$. Die inverse Kovarianzmatrix ergibt sich zu:  
+
Deren Determinante ist&nbsp; $\vert \mathbf{K}\vert  = σ_1^2 · σ_2^2 · σ_3^2 · σ_4^2$.&nbsp; Die inverse Kovarianzmatrix ergibt sich zu:  
:$${\mathbf{K}}^{-1} \cdot {\mathbf{K}} = \left[
+
:$${\mathbf{K} }^{-1} \cdot {\mathbf{K } } = \left[
 
\begin{array}{cccc}
 
\begin{array}{cccc}
 
1 & 0 & 0 & 0 \\
 
1 & 0 & 0 & 0 \\
Zeile 100: Zeile 119:
 
0 & 0 & 0 & 1
 
0 & 0 & 0 & 1
 
\end{array} \right]
 
\end{array} \right]
\hspace{0.5cm}\Rightarrow \hspace{0.5cm} {\mathbf{K}}^{-1}  =
+
\hspace{0.5cm}\Rightarrow \hspace{0.5cm} {\mathbf{K} }^{-1}  =
 
\left[
 
\left[
 
\begin{array}{cccc}
 
\begin{array}{cccc}
Zeile 109: Zeile 128:
 
\end{array} \right].$$
 
\end{array} \right].$$
  
Für mittelwertfreie Größen $(\mathbf{m = 0})$ lautet somit die WDF:  
+
Für mittelwertfreie Größen&nbsp; $(\mathbf{m = 0})$&nbsp; lautet somit die Verbundwahrscheinlichkeitsdichtefunktion:
:$$\mathbf{f_{\rm x}}(\mathbf{x})= \frac{1}{{(2 \pi)^2 \cdot \sigma_1\cdot
+
:$$\mathbf{ f_{\rm x} }(\mathbf{x})= \frac{1}{ {(2 \pi)^2 \cdot \sigma_1\cdot
\sigma_2\cdot \sigma_3\cdot \sigma_4}}\cdot {\rm
+
\sigma_2\cdot \sigma_3\cdot \sigma_4} }\cdot {\rm
exp}{\left[-(\frac{x_1^2}{2\sigma_1^2}
+
e}^{-({x_1^2}/{2\sigma_1^2}
\hspace{0.1cm}+\hspace{0.1cm}\frac{x_2^2}{2\sigma_2^2}\hspace{0.1cm}+\hspace{0.1cm}\frac{x_3^2}{2\sigma_3^2}\hspace{0.1cm}+\hspace{0.1cm}\frac{x_4^2}{2\sigma_4^2})
+
\hspace{0.1cm}+\hspace{0.1cm}{x_2^2}/{2\sigma_2^2}\hspace{0.1cm}+\hspace{0.1cm}{x_3^2}/{2\sigma_3^2}\hspace{0.1cm}+\hspace{0.1cm}{x_4^2}/{2\sigma_4^2})
\right]} .$$
+
} .$$
Ein Vergleich mit dem Kapitel  [[Stochastische_Signaltheorie/Zweidimensionale_Gaußsche_Zufallsgrößen#Wahrscheinlichkeitsdichte-_und_Verteilungsfunktion_.281.29|Wahrscheinlichkeitsdichte- und Verteilungsfunktion]] zeigt, dass es sich um eine 4D-Zufallsgröße mit statistisch unabhängigen und unkorrelierten Komponenten handelt, da folgende Bedingung erfüllt ist:  
+
Ein Vergleich mit dem Kapitel  &nbsp;[[Stochastische_Signaltheorie/Zweidimensionale_Gaußsche_Zufallsgrößen#Wahrscheinlichkeitsdichte-_und_Verteilungsfunktion|Wahrscheinlichkeitsdichte- und Verteilungsfunktion]]&nbsp; zeigt,&nbsp; dass es sich um eine 4D-Zufallsgröße mit statistisch unabhängigen und unkorrelierten Komponenten handelt,&nbsp; da folgende Bedingung erfüllt ist:  
:$$\mathbf{f_x}(\mathbf{x})= \mathbf{f_{x1}}(\mathbf{x_1})
+
:$$\mathbf{f_x}(\mathbf{x})= \mathbf{f_{x1 } }(\mathbf{x_1}) \cdot \mathbf{f_{x2} }(\mathbf{x_2})
\cdot\mathbf{f_{x2}}(\mathbf{x_2})
+
\cdot \mathbf{f_{x3} }(\mathbf{x_3} ) \cdot \mathbf{f_{x4} }(\mathbf{x_4} )
\cdot\mathbf{f_{x3}}(\mathbf{x_3})
+
.$$
\cdot\mathbf{f_{x4}}(\mathbf{x_4}) .$$
 
  
Der Fall korrelierter Komponenten wird in den  [[Stochastische_Signaltheorie/Verallgemeinerung_auf_N-dimensionale_Zufallsgrößen#Aufgaben_zum_Kapitel|Aufgaben zu diesem Kapitel]]  eingehend behandelt.
+
Der Fall korrelierter Komponenten wird in den  &nbsp;[[Stochastische_Signaltheorie/Verallgemeinerung_auf_N-dimensionale_Zufallsgrößen#Aufgaben_zum_Kapitel|Aufgaben zu diesem Kapitel]]&nbsp; eingehend behandelt.}}
{{end}}
 
  
  
Die folgenden Links verweisen auf Seiten mit Grundlagen der Matrizenrechnung am Kapitelende:
+
Die folgenden Links verweisen auf zwei Seiten am Kapitelende mit Grundlagen der Matrizenrechnung:
  
Determinante einer Matrix
+
*[[Stochastische_Signaltheorie/Verallgemeinerung_auf_N-dimensionale_Zufallsgrößen#Grundlagen_der_Matrizenrechnung:_Determinante_einer_Matrix|Determinante einer Matrix]]
 +
*[[Stochastische_Signaltheorie/Verallgemeinerung_auf_N-dimensionale_Zufallsgrößen#Grundlagen_der_Matrizenrechnung:_Inverse_einer_Matrix|Inverse einer Matrix]]
  
Inverse einer Matrix
+
==Eigenwerte und Eigenvektoren==
 +
<br>
 +
Wir gehen weiter von einer&nbsp; $N×N$–Kovarianzmatrix&nbsp; $\mathbf{K}$&nbsp; aus.
  
==Eigenwerte und Eigenvektoren==
+
{{BlaueBox|TEXT=
Wir gehen weiter von einer $N×N$–Kovarianzmatrix $\mathbf{K}$ aus. Hieraus lassen sich die $N$ Eigenwerte – im Folgenden mit $λ_1 ... λ_N$ bezeichnet – wie folgt berechnen:  
+
$\text{Definition:}$&nbsp; Aus der&nbsp; $N×N$–Kovarianzmatrix&nbsp; $\mathbf{K}$&nbsp; lassen sich die&nbsp; $N$&nbsp; '''Eigenwerte'''&nbsp; $λ_1$,  ... , $λ_N$&nbsp;  wie folgt berechnen:  
$$|{\mathbf{K}} - \lambda \cdot {\mathbf{E}}| = 0.$$
+
:$$\big \vert \ {\mathbf{K} } - \lambda \cdot {\mathbf{E} }\ \big \vert  = 0.$$
$\mathbf{E}$ ist die Einheits-Diagonalmatrix der Dimension $N$.
+
$\mathbf{E}$ ist die Einheits-Diagonalmatrix der Dimension $N$.}}
  
  
{{Beispiel}}
+
{{GraueBox|TEXT= 
Ausgehend von einer 2×2-Matrix $\mathbf{K}$ mit $K_{11} = K_{22} =$ 1 und $K_{12} = K_{21} =$ 0.8 erhält man als Bestimmungsgleichung:  
+
$\text{Beispiel 3:}$&nbsp; Ausgehend von einer&nbsp; $2×2$-Matrix&nbsp; $\mathbf{K}$&nbsp; mit&nbsp; $K_{11} = K_{22} = 1$ &nbsp;und&nbsp; $K_{12} = K_{21} = 0.8$&nbsp; erhält man als Bestimmungsgleichung:  
$${\rm det}\left[ \begin{array}{cc}
+
:$${\rm det}\left[ \begin{array}{cc}
 
1- \lambda & 0.8 \\
 
1- \lambda & 0.8 \\
 
0.8 & 1- \lambda
 
0.8 & 1- \lambda
 
\end{array} \right] = 0 \hspace{0.5cm}\Rightarrow \hspace{0.5cm}
 
\end{array} \right] = 0 \hspace{0.5cm}\Rightarrow \hspace{0.5cm}
 
(1- \lambda)^2 - 0.64 = 0.$$
 
(1- \lambda)^2 - 0.64 = 0.$$
Die beiden Eigenwerte sind somit $λ_1 =$ 1.8 und $λ_2 =$ 0.2.  
+
Die beiden Eigenwerte sind somit&nbsp; $λ_1 = 1.8$ &nbsp;und&nbsp; $λ_2 = 0.2$. }}
{{end}}
 
  
  
Mit den so ermittelten Eigenwerten $λ_i (i = 1, ... , N)$ kann man die dazugehörigen Eigenvektoren $\boldsymbol{\xi_i}$ berechnen. Die $N$ vektoriellen Bestimmungsgleichungen lauten dabei:  
+
{{BlaueBox|TEXT= 
$$({\mathbf{K}} - \lambda_i \cdot {\mathbf{E}}) \cdot
+
$\text{Definition:}$&nbsp; Mit den so ermittelten Eigenwerten&nbsp; $λ_i \ (i = 1$, ... , $N)$&nbsp; kann man die dazugehörigen&nbsp; '''Eigenvektoren'''&nbsp; $\boldsymbol{\xi_i}$&nbsp; berechnen.&nbsp; Die&nbsp; $N$&nbsp; vektoriellen Bestimmungsgleichungen lauten dabei:  
{\boldsymbol{\xi_i}} = 0\hspace{0.5cm}(i= 1, ... , N).$$
+
:$$({\mathbf{K} } - \lambda_i \cdot {\mathbf{E} }) \cdot
 +
{\boldsymbol{\xi_i} } = 0\hspace{0.5cm}(i= 1, \hspace{0.1cm}\text{...} \hspace{0.1cm} , N).$$}}
  
  
{{Beispiel}}
+
{{GraueBox|TEXT= 
In Fortsetzung obiger Rechnung ergeben sich die beiden folgenden Eigenvektoren:  
+
$\text{Beispiel 4:}$&nbsp; In Fortsetzung der Rechnung im&nbsp; $\text{Beispiel 3}$&nbsp; ergeben sich die beiden folgenden Eigenvektoren:  
$$\left[ \begin{array}{cc}
+
:$$\left[ \begin{array}{cc}
 
1- 1.8 & 0.8 \\
 
1- 1.8 & 0.8 \\
 
0.8 & 1- 1.8
 
0.8 & 1- 1.8
\end{array} \right]\cdot{\boldsymbol{\xi_1}} = 0 \hspace{0.5cm}\Rightarrow \hspace{0.5cm}
+
\end{array} \right]\cdot{\boldsymbol{\xi_1} } = 0 \hspace{0.5cm}\Rightarrow \hspace{0.5cm}
{\boldsymbol{\xi_1}} = {\rm const.} \cdot\left[ \begin{array}{c}
+
{\boldsymbol{\xi_1} } = {\rm const.} \cdot\left[ \begin{array}{c}
1  \\
+
+1  \\
1
+
+1
 
\end{array} \right],$$
 
\end{array} \right],$$
$$\left[ \begin{array}{cc}
+
:$$\left[ \begin{array}{cc}
 
1- 0.2 & 0.8 \\
 
1- 0.2 & 0.8 \\
 
0.8 & 1- 0.2
 
0.8 & 1- 0.2
\end{array} \right]\cdot{\boldsymbol{\xi_2}} = 0 \hspace{0.5cm}\Rightarrow \hspace{0.5cm}
+
\end{array} \right]\cdot{\boldsymbol{\xi_2} } = 0 \hspace{0.5cm}\Rightarrow \hspace{0.5cm}
{\boldsymbol{\xi_2}} = {\rm const.} \cdot\left[ \begin{array}{c}
+
{\boldsymbol{\xi_2} } = {\rm const.} \cdot\left[ \begin{array}{c}
 
-1  \\
 
-1  \\
1
+
+1
 
\end{array} \right].$$
 
\end{array} \right].$$
Bringt man die Eigenvektoren in die so genannte Orthonormalfom (jeweils mit Betrag 1), so lauten sie:  
+
*Bringt man die Eigenvektoren in die so genannte Orthonormalfom&nbsp; $($jeweils mit Betrag&nbsp; $1)$,&nbsp; so lauten sie:  
$${\boldsymbol{\xi_1}} = \frac{1}{\sqrt{2}} \cdot\left[ \begin{array}{c}
+
:$${\boldsymbol{\xi_1} } = \frac{1}{\sqrt{2} } \cdot\left[ \begin{array}{c}
1  \\
+
+1  \\
1
+
+1
\end{array} \right], \hspace{0.5cm}{\boldsymbol{\xi_2}} = \frac{1}{\sqrt{2}} \cdot\left[ \begin{array}{c}
+
\end{array} \right], \hspace{0.5cm}{\boldsymbol{\xi_2} } = \frac{1}{\sqrt{2} } \cdot\left[ \begin{array}{c}
 
-1  \\
 
-1  \\
1
+
+1
\end{array} \right].$$
+
\end{array} \right].$$}}
{{end}}
 
 
 
  
 +
==Nutzung von Eigenwerten in der Informationstechnik==
 +
<br>
 +
[[Datei:P_ID667__Sto_T_4_7_S4_ganz_neu.png |frame| Zur Datenkompression mittels Eigenwertbestimmung | rechts]]
 
Abschließend soll diskutiert werden, wie Eigenwert und Eigenvektor in der Informationstechnik genutzt werden können, beispielsweise zum Zwecke der Datenreduktion.  
 
Abschließend soll diskutiert werden, wie Eigenwert und Eigenvektor in der Informationstechnik genutzt werden können, beispielsweise zum Zwecke der Datenreduktion.  
  
[[Datei:P_ID667__Sto_T_4_7_S4_ganz_neu.png | Zur Datenkompression mittels Eigenwertbestimmung | rechts]]
+
Wir gehen von den gleichen Parameterwerten wie in&nbsp; $\text{Beispiel 3}$&nbsp; und&nbsp; $\text{Beispiel 4}$&nbsp; aus.  
Wir gehen von den Parameterwerten des soeben betrachteten Beispiels aus.  
+
*Mit&nbsp; $σ_1 = σ_2  = 1$&nbsp; und&nbsp; $ρ = 0.8$&nbsp; ergibt sich die rechts skizzierte zweidimensionale WDF mit elliptischen Höhenlinien.  
*Mit $σ_1 = σ_2  =$ 1 und $ρ =$ 0.8 ergibt sich die nachfolgend skizzierte 2D-WDF mit elliptischen Höhenlinien.  
+
*Die Ellipsenhauptachse liegt hier wegen&nbsp; $σ_1 = σ_2$&nbsp; unter einem Winkel&nbsp; von $45^\circ$.
*Die Ellipsenhauptachse liegt hier wegen $σ_1 = σ_2$ unter einem Winkel von 45 Grad.  
+
  
 +
In der Grafik ist zusätzlich das&nbsp; $(ξ_1, ξ_2)$-Koordinatensystem eingezeichnet,&nbsp; das durch die Eigenvektoren &nbsp; $\mathbf{ξ}_1$&nbsp; und&nbsp; $\mathbf{ξ}_2$&nbsp; der Korrelationsmatrix aufgespannt wird:
 +
*Die Eigenwerte &nbsp; $λ_1 = 1.8$&nbsp; und &nbsp; $λ_2 = 0.2$ &nbsp; geben die Varianzen bezüglich des neuen Koordinatensystems an.
 +
*Die Streuungen sind somit&nbsp; $σ_1 = \sqrt{1.8} ≈ 1.341$&nbsp; und&nbsp; $σ_2 = \sqrt{0.2} ≈ 0.447$.
 +
<br clear=all>
 +
{{GraueBox|TEXT= 
 +
$\text{Beispiel 5:}$&nbsp; Soll eine zweidimensionale Zufallsgröße&nbsp; $\mathbf{x}$&nbsp; in seinen beiden Dimensionen&nbsp; $x_1$&nbsp; und&nbsp; $x_2$&nbsp; im Bereich zwischen&nbsp; $–5σ$&nbsp; und&nbsp; $+5σ$&nbsp; im Abstand&nbsp; $Δx = 0.01$&nbsp; quantisiert werden,&nbsp; so gibt es&nbsp; $\rm 10^6$&nbsp; mögliche Quantisierungswerte &nbsp; $(σ_1 = σ_2 = σ = 1$&nbsp;  vorausgesetzt$)$.
 +
*Dagegen ist die Anzahl der möglichen Quantisierungswerte bei der gedrehten Zufallsgröße&nbsp; $\mathbf{ξ}$&nbsp; um den Faktor&nbsp; $1.341 · 0.447 ≈ 0.6$&nbsp; geringer.
 +
*Das bedeutet: &nbsp; Allein durch die Drehung des Koordinatensystems um&nbsp; $45^\circ$ &nbsp; ⇒ &nbsp; "Transformation der 2D&ndash;Zufallsgröße"&nbsp; wird die Datenmenge um ca.&nbsp;  $40\%$&nbsp; reduziert.
  
  
 +
Die Ausrichtung entsprechend den Hauptdiagonalen wurde für den zweidimensionalen Fall bereits auf der Seite&nbsp; [[Stochastische_Signaltheorie/Zweidimensionale_Gaußsche_Zufallsgrößen#Drehung_des_Koordinatensystems|Drehung des Koordinatensystems]]&nbsp; behandelt,&nbsp; und zwar basierend auf geometrischen und trigonometrischen Überlegungen.
  
 
+
&rArr; &nbsp; '''Die Problemlösung mit Eigenwert und Eigenvektor ist äußerst elegant und problemlos auf beliebig große Dimensionen&nbsp; $N$&nbsp; erweiterbar'''. }}
 
 
 
 
In der Grafik ist zusätzlich das $(ξ_1, ξ_2)$-Koordinatensystem eingezeichnet, das durch die Eigenvektoren $\mathbf{ξ}_1$ und $\mathbf{ξ}_2$ der Korrelationsmatrix aufgespannt wird. Die Eigenwerte $λ_1 =$ 1.8 und $λ_2 =$ 0.2 geben die Varianzen bezüglich des neuen Koordinatensystems an. Die Streuungen sind somit $σ_1 = \rm 1.8^{0.5}$ ≈ 1.341 und $σ_2 = \rm 0.2^{0.5}$ ≈ 0.447.
 
 
 
 
 
{{Beispiel}}
 
Soll eine 2D-Zufallsgröße $\mathbf{x}$ in seinen beiden Dimensionen $x_1$ und $x_2$ im Bereich zwischen $–5σ$ und $+5σ$ im Abstand $Δx =$ 0.01 quantisiert werden, so gibt es $\rm 10^6$ mögliche Quantisierungswerte $(σ_1 = σ_2 = σ =$ 1 vorausgesetzt).
 
 
 
Dagegen ist die Anzahl der möglichen Quantisierungswerte bei der gedrehten Zufallsgröße $\mathbf{ξ}$ um den Faktor 1.341 · 0.447 ≈ 0.6 geringer. Das bedeutet: Allein durch die Drehung des Koordinatensystems um 45°  ⇒  ''Transformation der zweidimensionalen Zufallsgröße'' wurde eine Datenreduktion um 40% erreicht.
 
 
 
Die Ausrichtung entsprechend den Hauptdiagonalen wurde für den zweidimensionalen Fall bereits auf der Seite [[Stochastische_Signaltheorie/Zweidimensionale_Gaußsche_Zufallsgrößen#Drehung_des_Koordinatensystems_.281.29|Drehung des Koordinatensystems]] im Kapitel 4.2 behandelt, und zwar basierend auf geometrischen und trigonometrischen Überlegungen. Die Lösung des Problems mit Eigenwert und Eigenvektor ist äußerst elegant und zudem problemlos auf beliebig große Dimensionen $N$ erweiterbar.  
 
{{end}}
 
  
 
==Grundlagen der Matrizenrechnung: Determinante einer Matrix==
 
==Grundlagen der Matrizenrechnung: Determinante einer Matrix==
Wir betrachten die beiden quadratischen Matrizen mit Dimension $N =$ 2 bzw. $N =$ 3:  
+
<br>
$${\mathbf{A}} = \left[ \begin{array}{cc}
+
Wir betrachten die beiden quadratischen Matrizen mit Dimension&nbsp; $N = 2$&nbsp; &nbsp;bzw.&nbsp; $N = 3$:  
 +
:$${\mathbf{A}} = \left[ \begin{array}{cc}
 
a_{11} & a_{12} \\
 
a_{11} & a_{12} \\
 
a_{21} & a_{22}
 
a_{21} & a_{22}
Zeile 218: Zeile 237:
 
\end{array}\right].$$
 
\end{array}\right].$$
  
Die beiden Determinanten dieser Matrizen lauten:
+
Die Determinanten dieser beiden  Matrizen lauten:
$$|{\mathbf{A}}| = a_{11} a\cdot a_{22} - a_{12} \cdot a_{21},$$
+
:$$|{\mathbf{A}}| = a_{11} \cdot a_{22} - a_{12} \cdot a_{21},$$
$$|{\mathbf{B}}|    =  b_{11} \cdot b_{22} \cdot b_{33} + b_{12} \cdot
+
:$$|{\mathbf{B}}|    =  b_{11} \cdot b_{22} \cdot b_{33} + b_{12} \cdot
b_{23} \cdot b_{31} + b_{13} \cdot b_{21} \cdot b_{32} -$$
+
b_{23} \cdot b_{31} + b_{13} \cdot b_{21} \cdot b_{32}   -  
$$  -  
 
 
  b_{11} \cdot b_{23} \cdot b_{32} -
 
  b_{11} \cdot b_{23} \cdot b_{32} -
 
  b_{12} \cdot b_{21} \cdot b_{33}-
 
  b_{12} \cdot b_{21} \cdot b_{33}-
 
  b_{13} \cdot b_{22} \cdot b_{31}.$$
 
  b_{13} \cdot b_{22} \cdot b_{31}.$$
  
Bitte beachten Sie:  
+
{{BlaueBox|TEXT= 
*Die Determinante der Matrix $\mathbf{A}$ lässt sich geometrisch als die Fläche des durch die beiden Zeilenvektoren $(a_{11}, a_{12})$ und $(a_{21}, a_{22})$ aufgespannten Parallelogramms interpretieren.  
+
$\text{Bitte beachten Sie:}$&nbsp;
*Die Fläche des durch die beiden Spaltenvektoren $(a_{11}, a_{21})^{\rm T}$ und $(a_{12}, a_{22})^{\rm T}$ festgelegten Parallelogramms ist ebenfalls $|\mathbf{A}|$.  
+
*Die Determinante von&nbsp; $\mathbf{A}$&nbsp; entspricht geometrisch der Fläche des durch die Zeilenvektoren&nbsp; $(a_{11}, a_{12})$&nbsp; und&nbsp; $(a_{21}, a_{22})$&nbsp; aufgespannten Parallelogramms.  
*Dagegen ist die Determinante der Matrix $\mathbf{B}$ bei analoger geometrischer Interpretation als Volumen zu verstehen.  
+
*Die Fläche des durch die beiden Spaltenvektoren&nbsp; $(a_{11}, a_{21})^{\rm T}$&nbsp; und&nbsp; $(a_{12}, a_{22})^{\rm T}$&nbsp; festgelegten Parallelogramms ist ebenfalls&nbsp; $\vert \mathbf{A}\vert$.  
 +
*Dagegen ist die Determinante der Matrix&nbsp; $\mathbf{B}$&nbsp; bei analoger geometrischer Interpretation als Volumen zu verstehen.}}
  
  
Für $N$ > 2 ist es möglich, sogenannte Unterdeterminanten zu bilden. Die Unterdeterminante einer $N×N$–Matrix bezüglich der Stelle $i, j$ ist die Determinante der $(N– {\rm 1})×(N–{\rm 1})$–Matrix, die sich ergibt, wenn man die $i$-te Zeile und die $j$-te Spalte streicht. Als Kofaktor bezeichnet man dann den Wert der Unterdeterminante gewichtet mit dem Vorzeichen $(–{\rm 1})^{i+j}$.  
+
Für&nbsp; $N > 2$&nbsp; ist es möglich, sogenannte&nbsp; '''Unterdeterminanten'''&nbsp; zu bilden.  
 +
*Die Unterdeterminante einer&nbsp; $N×N$–Matrix bezüglich der Stelle &nbsp;$(i, j)$&nbsp; ist die Determinante der&nbsp; $(N–1)×(N–1)$–Matrix,&nbsp; die sich ergibt, <br>wenn man die&nbsp; $i$-te Zeile und die&nbsp; $j$-te Spalte streicht.  
 +
*Als Kofaktor bezeichnet man dann den Wert der Unterdeterminante gewichtet mit dem Vorzeichen&nbsp; $(–1)^{i+j}$.  
  
  
{{Beispiel}}
+
{{GraueBox|TEXT= 
Ausgehend von der 3×3–Matrix $\mathbf{B}$ lauten die Kofaktoren der zweiten Zeile:  
+
$\text{Beispiel 6:}$&nbsp; Ausgehend von der&nbsp; $3×3$–Matrix&nbsp; $\mathbf{B}$&nbsp; lauten die Kofaktoren der zweiten Zeile:  
$$B_{21}  =  -(b_{12} \cdot b_{23} - b_{13} \cdot
+
:$$B_{21}  =  -(b_{12} \cdot b_{23} - b_{13} \cdot
 
b_{32})\hspace{0.3cm}{\rm da}\hspace{0.3cm} i+j =3,$$
 
b_{32})\hspace{0.3cm}{\rm da}\hspace{0.3cm} i+j =3,$$
$$B_{22}  =  +(b_{11} \cdot b_{23} - b_{13} \cdot
+
:$$B_{22}  =  +(b_{11} \cdot b_{23} - b_{13} \cdot
 
b_{31})\hspace{0.3cm}{\rm da}\hspace{0.3cm} i+j=4,$$
 
b_{31})\hspace{0.3cm}{\rm da}\hspace{0.3cm} i+j=4,$$
$$B_{23}  =  -(b_{11} \cdot b_{32} - b_{12} \cdot
+
:$$B_{23}  =  -(b_{11} \cdot b_{32} - b_{12} \cdot
 
b_{31})\hspace{0.3cm}{\rm da}\hspace{0.3cm} i+j=5.$$
 
b_{31})\hspace{0.3cm}{\rm da}\hspace{0.3cm} i+j=5.$$
  
Die Determinante von $\mathbf{B}$ ergibt sich mit diesen Kofaktoren zu:  
+
Die Determinante von&nbsp; $\mathbf{B}$&nbsp; ergibt sich mit diesen Kofaktoren zu:  
$$|{\mathbf{B}}=  b_{21} \cdot B_{21} +b_{22} \cdot B_{22}
+
:$$\vert {\mathbf{B} } \vert  =  b_{21} \cdot B_{21} +b_{22} \cdot B_{22}
 
+b_{23} \cdot B_{23}.$$
 
+b_{23} \cdot B_{23}.$$
Die Determinante wurde hier nach der zweiten Zeile entwickelt. Entwickelt man $\mathbf{B}$ nach einer anderen Zeile oder Spalte, so ergibt sich für $|\mathbf{B}|$ der gleiche Zahlenwert.
+
*Die Determinante wurde hier nach der zweiten Zeile entwickelt.  
{{end}}
+
*Entwickelt man&nbsp; $\mathbf{B}$&nbsp; nach einer anderen Zeile oder Spalte,&nbsp; so ergibt sich für&nbsp; $\vert \mathbf{B} \vert$&nbsp; natürlich der gleiche Zahlenwert.}}
  
 
==Grundlagen der Matrizenrechnung: Inverse einer Matrix==
 
==Grundlagen der Matrizenrechnung: Inverse einer Matrix==
Häufig benötigt man die Inverse $\mathbf{M}^{–1}$ der quadratischen Matrix $\mathbf{M}$. Die inverse Matrix $\mathbf{M}^{–1}$ besitzt die gleiche Dimension $N$ wie $\mathbf{M}$ und ist wie folgt definiert, wobei $\mathbf{E}$ die Einheitsmatrix (Diagonalmatrix) bezeichnet:  
+
<br>
$${\mathbf{M}}^{-1} \cdot {\mathbf{M}} ={\mathbf{E}} =
+
Häufig benötigt man die Inverse&nbsp;  $\mathbf{M}^{–1}$&nbsp; der quadratischen Matrix&nbsp; $\mathbf{M}$.&nbsp; Die inverse Matrix $\mathbf{M}^{–1}$&nbsp;
 +
*besitzt die gleiche Dimension&nbsp; $N$&nbsp; wie&nbsp; $\mathbf{M}$&nbsp; und  
 +
*ist wie folgt definiert,&nbsp; wobei&nbsp; $\mathbf{E}$&nbsp; wieder die&nbsp; "Einheitsmatrix"&nbsp; (Diagonalmatrix)&nbsp; bezeichnet:  
 +
:$${\mathbf{M}}^{-1} \cdot {\mathbf{M}} ={\mathbf{E}} =
 
\left[ \begin{array}{cccc} 1 & 0 & \cdots & 0 \\
 
\left[ \begin{array}{cccc} 1 & 0 & \cdots & 0 \\
 
0 & 1 & \cdots & 0 \\ \cdots & \cdots & \cdots & \cdots \\
 
0 & 1 & \cdots & 0 \\ \cdots & \cdots & \cdots & \cdots \\
 
0 & 0 & \cdots & 1  \end{array} \right] .$$
 
0 & 0 & \cdots & 1  \end{array} \right] .$$
  
 
+
{{GraueBox|TEXT= 
Die Inverse der 2×2–Matrix $\mathbf{A}$ lautet demnach:  
+
$\text{Beispiel 7:}$&nbsp;
$$\left[ \begin{array}{cc}
+
Die Inverse der&nbsp; $2×2$–Matrix&nbsp; $\mathbf{A}$&nbsp; lautet demnach:  
 +
:$$\left[ \begin{array}{cc}
 
a_{11} & a_{12} \\
 
a_{11} & a_{12} \\
 
a_{21} & a_{22}
 
a_{21} & a_{22}
\end{array} \right]^{-1} = \frac{1}{|{\mathbf{A}}|} \hspace{0.1cm}\cdot \left[ \begin{array}{cc}
+
\end{array} \right]^{-1} = \frac{1}{\vert{\mathbf{A} }\vert} \hspace{0.1cm}\cdot \left[ \begin{array}{cc}
 
a_{22} & -a_{12} \\
 
a_{22} & -a_{12} \\
 
-a_{21} & a_{11}
 
-a_{21} & a_{11}
 
\end{array} \right].$$
 
\end{array} \right].$$
 +
 +
Hierbei gibt&nbsp; $\vert\mathbf{A}\vert = a_{11} · a_{22} - a_{12} · a_{21}$&nbsp; die&nbsp; [[Stochastische_Signaltheorie/Verallgemeinerung_auf_N-dimensionale_Zufallsgrößen#Grundlagen_der_Matrizenrechnung:_Determinante_einer_Matrix|Determinante]]&nbsp; an.}}
  
  
Hierbei gibt $|\mathbf{A}| = a_{11} · a_{22} – a_{12} · a_{21}$ die [[Stochastische_Signaltheorie/Verallgemeinerung_auf_N-dimensionale_Zufallsgrößen#Grundlagen_der_Matrizenrechnung:_Determinante_einer_Matrix|Determinante]] an. Entsprechend gilt für $N =$ 3:
+
{{GraueBox|TEXT=
$$\left[ \begin{array}{ccc}
+
$\text{Beispiel 8:}$&nbsp;
 +
Entsprechend gilt für die&nbsp; $3×3$–Matrix&nbsp; $\mathbf{B}$:
 +
:$$\left[ \begin{array}{ccc}
 
b_{11} & b_{12} & b_{13}\\
 
b_{11} & b_{12} & b_{13}\\
 
b_{21} & b_{22} & b_{23}\\
 
b_{21} & b_{22} & b_{23}\\
 
b_{31} & b_{32} & b_{33}
 
b_{31} & b_{32} & b_{33}
\end{array}\right]^{-1} = \frac{1}{|{\mathbf{B}}|} \hspace{0.1cm}\cdot\left[ \begin{array}{ccc}
+
\end{array}\right]^{-1} = \frac{1}{\vert{\mathbf{B} }\vert} \hspace{0.1cm}\cdot\left[ \begin{array}{ccc}
 
B_{11} & B_{21} & B_{31}\\
 
B_{11} & B_{21} & B_{31}\\
 
B_{12} & B_{22} & B_{32}\\
 
B_{12} & B_{22} & B_{32}\\
Zeile 280: Zeile 309:
 
\end{array}\right].$$
 
\end{array}\right].$$
  
 +
*Die Determinante&nbsp; $\vert\mathbf{B}\vert$&nbsp; einer&nbsp; $3×3$–Matrix wurde auf der letzten Seite angegeben, ebenso wie die Berechnungsvorschrift  der Kofaktoren&nbsp; $B_{ij}$:
 +
*Diese beschreiben die Unterdeterminanten von&nbsp; $\mathbf{B}$,&nbsp; gewichtet mit den Positionsvorzeichen&nbsp; $(–1)^{i+j}$.
 +
*Zu beachten ist die Vertauschung der Zeilen und Spalten bei der Inversen.}}
 +
 +
==Aufgaben zum Kapitel==
 +
<br>
 +
[[Aufgaben:Aufgabe_4.15:_WDF_und_Kovarianzmatrix|Aufgabe 4.15: WDF und Kovarianzmatrix]]
  
Die Determinante $|\mathbf{B}|$ einer 3×3–Matrix wurde auf der letzten Seite angegeben, ebenso wie die Vorschrift zur Berechnung der Kofaktoren $B_{ij}$. Diese beschreiben die Unterdeterminanten von $\mathbf{B}$, gewichtet mit den Positionsvorzeichen ${\rm (–1)}^{i+j}$. Zu beachten ist die Vertauschung der Zeilen und Spalten bei der Inversen.
+
[[Aufgaben:4.15Z Aussagen der Kovarianzmatrix|Aufgabe 4.15Z: Aussagen der Kovarianzmatrix]]
  
==Aufgaben zum Kapitel==
+
[[Aufgaben:4.16 Eigenwerte und Eigenvektoren|Aufgabe 4.16: Eigenwerte und Eigenvektoren]]
  
[[Aufgaben:4.14 AKF/KKF bei Rechtecken|Aufgabe 4.14: &nbsp; AKF/KKF bei Rechtecken]]
+
[[Aufgaben:Aufgabe_4.16Z:_Zwei-_und_dreidimensionale_Datenreduktion|Aufgabe 4.16Z: Zwei- und dreidimensionale Datenreduktion]]
  
[[Aufgaben:4.14Z Auffinden von Echos|Zusatzaufgabe 4.14Z: &nbsp; Auffinden von Echos]]
 
  
 
{{Display}}
 
{{Display}}

Aktuelle Version vom 28. März 2022, 13:23 Uhr

Korrelationsmatrix


Bisher wurden nur statistische Bindungen zwischen zwei  (skalaren)  Zufallsgrößen betrachtet.  Für den allgemeineren Fall einer Zufallsgröße mit  $N$  Dimensionen bietet sich zweckmäßigerweise eine Vektor– bzw. Matrixdarstellung an.

Für die folgende Beschreibung wird vorausgesetzt:

  • Die  $N$–dimensionale Zufallsgröße wird als Vektor dargestellt:
$${\mathbf{x}} = \big[\hspace{0.03cm}x_1, \hspace{0.03cm}x_2, \hspace{0.1cm}\text{...} \hspace{0.1cm}, \hspace{0.03cm}x_N \big]^{\rm T}.$$
Hierbei ist  $\mathbf{x}$  ein Spaltenvektor,  was aus dem Zusatz  $\rm T$  – dies steht für „transponiert” – des angegebenen Zeilenvektors hervorgeht.
  • Die  $N$  Komponenten  $x_i$  seien jeweils eindimensionale reelle Gaußsche Zufallsgrößen.


$\text{Definition:}$  Statistische Bindungen zwischen den  $N$  Zufallsgrößen werden durch die  Korrelationsmatrix  vollständig beschrieben:

$${\mathbf{R} } =\big[ R_{ij} \big] = \left[ \begin{array}{cccc}R_{11} & R_{12} & \cdots & R_{1N} \\ R_{21} & R_{22}& \cdots & R_{2N} \\ \cdots & \cdots & \cdots &\cdots \\ R_{N1} & R_{N2} & \cdots & R_{NN} \end{array} \right] .$$
  • Die  $N^2$  Elemente dieser  $N×N$-Matrix geben jeweils das gemeinsame Moment erster Ordnung zwischen zwei Komponenten an:
$$R_{ij}= { {\rm E}\big[x_i \cdot x_j \big] } = R_{ji} .$$
  • In Vektorschreibweise lautet somit die Korrelationsmatrix:
$$\mathbf{R}= {\rm E\big[\mathbf{x} \cdot {\mathbf{x} }^{\rm T} \big] } .$$


Bitte beachten Sie:

  • $\mathbf{x}$  ist ein Spaltenvektor mit  $N$  Dimensionen und der transponierte Vektor  $\mathbf{x}^{\rm T}$  ist ein Zeilenvektor gleicher Länge   ⇒   das Produkt  $\mathbf{x} · \mathbf{x}^{\rm T}$  ergibt eine  $N×N$–Matrix.
  • Dagegen wäre  $\mathbf{x}^{\rm T}· \mathbf{x}$  eine  $1×1$–Matrix,  also ein Skalar.
  • Für den hier nicht weiter betrachteten Sonderfall komplexer Komponenten  $x_i$  sind auch die Matrixelemente komplex:
$$R_{ij}= {{\rm E}\big[x_i \cdot x_j^{\star} \big]} = R_{ji}^{\star} .$$
  • Die Realteile der Korrelationsmatrix  ${\mathbf{R} }$  sind weiterhin symmetrisch zur Hauptdiagonalen,  während sich die Imaginärteile durch das Vorzeichen unterscheiden.


Kovarianzmatrix


$\text{Definition:}$  Man kommt von der Korrelationsmatrix  $\mathbf{R} =\left[ R_{ij} \right]$  zur so genannten  Kovarianzmatrix

$${\mathbf{K} } =\big[ K_{ij} \big] = \left[ \begin{array}{cccc}K_{11} & K_{12} & \cdots & K_{1N} \\ K_{21} & K_{22}& \cdots & K_{2N} \\ \cdots & \cdots & \cdots &\cdots \\ K_{N1} & K_{N2} & \cdots & K_{NN} \end{array} \right] ,$$

wenn die Matrixelemente  $K_{ij} = {\rm E}\big[(x_i – m_i) · (x_j – m_j)\big]$  jeweils ein  Zentralmoment erster Ordnung  angeben.

  • Mit dem Vektor  $\mathbf{m} = [m_1, m_2$, ... , $m_N]^{\rm T}$  kann somit auch geschrieben werden:
$$\mathbf{K}= { {\rm E}\big[(\mathbf{x} - \mathbf{m}) (\mathbf{x} - \mathbf{m})^{\rm T} \big] } .$$
  • Es sei ausdrücklich darauf hingewiesen, dass  $m_1$  den Mittelwert der Komponente  $x_1$  und  $m_2$  den Mittelwert  von $x_2$  bezeichnet – nicht etwa das Moment erster bzw. zweiter Ordnung.


Die Kovarianzmatrix  $\mathbf{K}$  zeigt bei reellen mittelwertfreien Gauß–Größen folgende weitere Eigenschaften:

  • Das Element der  $i$-ten Zeile und  $j$-ten Spalte lautet mit den beiden Streuungen  $σ_i$  und  $σ_j$  und dem  Korrelationskoeffizienten  $ρ_{ij}$:
$$K_{ij} = σ_i · σ_j · ρ_{ij} = K_{ji}.$$
  • Berücksichtigt man noch die Beziehung  $ρ_{ii} = 1$, so erhält man für die Kovarianzmatrix:
$${\mathbf{K}} =\left[ K_{ij} \right] = \left[ \begin{array}{cccc} \sigma_{1}^2 & \sigma_{1}\cdot \sigma_{2}\cdot\rho_{12} & \cdots & \sigma_{1}\cdot \sigma_{N} \cdot \rho_{1N} \\ \sigma_{2} \cdot \sigma_{1} \cdot \rho_{21} & \sigma_{2}^2& \cdots & \sigma_{2} \cdot \sigma_{N} \cdot\rho_{2N} \\ \cdots & \cdots & \cdots & \cdots \\ \sigma_{N} \cdot \sigma_{1} \cdot \rho_{N1} & \sigma_{N}\cdot \sigma_{2} \cdot\rho_{N2} & \cdots & \sigma_{N}^2 \end{array} \right] .$$
  • Aufgrund der Beziehung  $ρ_{ij} = ρ_{ji}$  ist die Kovarianzmatrix bei reellen Größen stets symmetrisch zur Hauptdiagonalen.  Bei komplexen Größen würde  $ρ_{ij} = ρ_{ji}^{\star}$  gelten.


$\text{Beispiel 1:}$  Wir betrachten die drei Kovarianzmatrizen:

$${\mathbf{K}_2} = \left[ \begin{array}{cc} 1 & -0.5 \\ -0.5 & 1 \end{array} \right], \hspace{0.9cm}{\mathbf{K}_3} = 4 \cdot \left[ \begin{array}{ccc} 1 & 1/2 & 1/4\\ 1/2 & 1 & 3/4 \\ 1/4 & 3/4 & 1 \end{array}\right], \hspace{0.9cm}{\mathbf{K}_4} = \left[ \begin{array}{cccc} 1 & 0 & 0 & 0 \\ 0 & 4 & 0 & 0 \\ 0 & 0 & 9 & 0 \\ 0 & 0 & 0 & 16 \end{array} \right].$$
  • $\mathbf{K}_2$  beschreibt eine zweidimensionale Zufallsgröße, wobei der Korrelationskoeffizient  $ρ$  zwischen den zwei Komponenten  $-0.5$  beträgt und beide Komponenten die Streuung  $σ = 1$  aufweisen.
  • Bei der dreidimensionalen Zufallsgröße gemäß  $\mathbf{K}_3$  haben alle Komponenten die gleiche Streuung  $σ = 2$   (bitte Vorfaktor beachten).   Die stärksten Bindungen bestehen hier zwischen  $x_2$  und  $x_3$,  wobei  $ρ_{23} = 3/4$  gilt.
  • Die vier Komponenten der durch  $\mathbf{K}_4$  gekennzeichneten vierdimensionalen Zufallsgröße sind unkorreliert,  bei Gaußscher WDF auch statistisch unabhängig.  Die Varianzen sind  $σ_i^2 = i^2$  für  $i = 1$, ... , $4$    ⇒   Streuungen $σ_i = i$.

Zusammenhang zwischen Kovarianzmatrix und WDF


$\text{Definition:}$  Die  Wahrscheinlichkeitsdichtefunktion  $\rm (WDF)$  einer  $N$-dimensionalen Gaußschen Zufallsgröße  $\mathbf{x}$  lautet:

$$f_\mathbf{x}(\mathbf{x})= \frac{1}{\sqrt{(2 \pi)^N \cdot \vert\mathbf{K}\vert } }\hspace{0.05cm}\cdot \hspace{0.05cm} {\rm e}^{-1/2\hspace{0.05cm}\cdot \hspace{0.05cm}(\mathbf{x} - \mathbf{m})^{\rm T}\hspace{0.05cm}\cdot \hspace{0.05cm}\mathbf{K}^{-1} \hspace{0.05cm}\cdot \hspace{0.05cm}(\mathbf{x} - \mathbf{m}) } .$$

Hierbei bezeichnet:

  • $\mathbf{x}$  den Spaltenvektor der betrachteten  $N$–dimensionalen Zufallsgröße,
  • $\mathbf{m}$  den Spaltenvektor der zugehörigen Mittelwerte,
  • $\vert \mathbf{K}\vert$  die Determinante der  $N×N$–Kovarianzmatrix  $\mathbf{K}$  –  eine skalare Größe,
  • $\mathbf{K}^{−1}$  die Inverse von  $\mathbf{K}$;  diese ist ebenfalls eine  $N×N$-Matrix.


Die Multiplikationen des Zeilenvektors  $(\mathbf{x} – \mathbf{m})^{\rm T}$,  der inversen Matrix  $\mathbf{K}^{–1}$  und des  Spaltenvektors  $(\mathbf{x} – \mathbf{m})$  ergibt im Argument der Exponentialfunktion ein Skalar.

$\text{Beispiel 2:}$  Wir betrachten wie im  $\text{Beispiel 1}$  wieder eine vierdimensionale Zufallsgröße  $\mathbf{x}$, deren Kovarianzmatrix nur auf der Hauptdiagonalen besetzt ist:

$${\mathbf{K} } = \left[ \begin{array}{cccc} \sigma_{1}^2 & 0 & 0 & 0 \\ 0 & \sigma_{2}^2 & 0 & 0 \\ 0 & 0 & \sigma_{3}^2 & 0 \\ 0 & 0 & 0 & \sigma_{4}^2 \end{array} \right].$$

Deren Determinante ist  $\vert \mathbf{K}\vert = σ_1^2 · σ_2^2 · σ_3^2 · σ_4^2$.  Die inverse Kovarianzmatrix ergibt sich zu:

$${\mathbf{K} }^{-1} \cdot {\mathbf{K } } = \left[ \begin{array}{cccc} 1 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 1 \end{array} \right] \hspace{0.5cm}\Rightarrow \hspace{0.5cm} {\mathbf{K} }^{-1} = \left[ \begin{array}{cccc} \sigma_{1}^{-2} & 0 & 0 & 0 \\ 0 & \sigma_{2}^{-2} & 0 & 0 \\ 0 & 0 & \sigma_{3}^{-2} & 0 \\ 0 & 0 & 0 & \sigma_{4}^{-2} \end{array} \right].$$

Für mittelwertfreie Größen  $(\mathbf{m = 0})$  lautet somit die Verbundwahrscheinlichkeitsdichtefunktion:

$$\mathbf{ f_{\rm x} }(\mathbf{x})= \frac{1}{ {(2 \pi)^2 \cdot \sigma_1\cdot \sigma_2\cdot \sigma_3\cdot \sigma_4} }\cdot {\rm e}^{-({x_1^2}/{2\sigma_1^2} \hspace{0.1cm}+\hspace{0.1cm}{x_2^2}/{2\sigma_2^2}\hspace{0.1cm}+\hspace{0.1cm}{x_3^2}/{2\sigma_3^2}\hspace{0.1cm}+\hspace{0.1cm}{x_4^2}/{2\sigma_4^2}) } .$$

Ein Vergleich mit dem Kapitel  Wahrscheinlichkeitsdichte- und Verteilungsfunktion  zeigt,  dass es sich um eine 4D-Zufallsgröße mit statistisch unabhängigen und unkorrelierten Komponenten handelt,  da folgende Bedingung erfüllt ist:

$$\mathbf{f_x}(\mathbf{x})= \mathbf{f_{x1 } }(\mathbf{x_1}) \cdot \mathbf{f_{x2} }(\mathbf{x_2}) \cdot \mathbf{f_{x3} }(\mathbf{x_3} ) \cdot \mathbf{f_{x4} }(\mathbf{x_4} ) .$$

Der Fall korrelierter Komponenten wird in den  Aufgaben zu diesem Kapitel  eingehend behandelt.


Die folgenden Links verweisen auf zwei Seiten am Kapitelende mit Grundlagen der Matrizenrechnung:

Eigenwerte und Eigenvektoren


Wir gehen weiter von einer  $N×N$–Kovarianzmatrix  $\mathbf{K}$  aus.

$\text{Definition:}$  Aus der  $N×N$–Kovarianzmatrix  $\mathbf{K}$  lassen sich die  $N$  Eigenwerte  $λ_1$, ... , $λ_N$  wie folgt berechnen:

$$\big \vert \ {\mathbf{K} } - \lambda \cdot {\mathbf{E} }\ \big \vert = 0.$$

$\mathbf{E}$ ist die Einheits-Diagonalmatrix der Dimension $N$.


$\text{Beispiel 3:}$  Ausgehend von einer  $2×2$-Matrix  $\mathbf{K}$  mit  $K_{11} = K_{22} = 1$  und  $K_{12} = K_{21} = 0.8$  erhält man als Bestimmungsgleichung:

$${\rm det}\left[ \begin{array}{cc} 1- \lambda & 0.8 \\ 0.8 & 1- \lambda \end{array} \right] = 0 \hspace{0.5cm}\Rightarrow \hspace{0.5cm} (1- \lambda)^2 - 0.64 = 0.$$

Die beiden Eigenwerte sind somit  $λ_1 = 1.8$  und  $λ_2 = 0.2$.


$\text{Definition:}$  Mit den so ermittelten Eigenwerten  $λ_i \ (i = 1$, ... , $N)$  kann man die dazugehörigen  Eigenvektoren  $\boldsymbol{\xi_i}$  berechnen.  Die  $N$  vektoriellen Bestimmungsgleichungen lauten dabei:

$$({\mathbf{K} } - \lambda_i \cdot {\mathbf{E} }) \cdot {\boldsymbol{\xi_i} } = 0\hspace{0.5cm}(i= 1, \hspace{0.1cm}\text{...} \hspace{0.1cm} , N).$$


$\text{Beispiel 4:}$  In Fortsetzung der Rechnung im  $\text{Beispiel 3}$  ergeben sich die beiden folgenden Eigenvektoren:

$$\left[ \begin{array}{cc} 1- 1.8 & 0.8 \\ 0.8 & 1- 1.8 \end{array} \right]\cdot{\boldsymbol{\xi_1} } = 0 \hspace{0.5cm}\Rightarrow \hspace{0.5cm} {\boldsymbol{\xi_1} } = {\rm const.} \cdot\left[ \begin{array}{c} +1 \\ +1 \end{array} \right],$$
$$\left[ \begin{array}{cc} 1- 0.2 & 0.8 \\ 0.8 & 1- 0.2 \end{array} \right]\cdot{\boldsymbol{\xi_2} } = 0 \hspace{0.5cm}\Rightarrow \hspace{0.5cm} {\boldsymbol{\xi_2} } = {\rm const.} \cdot\left[ \begin{array}{c} -1 \\ +1 \end{array} \right].$$
  • Bringt man die Eigenvektoren in die so genannte Orthonormalfom  $($jeweils mit Betrag  $1)$,  so lauten sie:
$${\boldsymbol{\xi_1} } = \frac{1}{\sqrt{2} } \cdot\left[ \begin{array}{c} +1 \\ +1 \end{array} \right], \hspace{0.5cm}{\boldsymbol{\xi_2} } = \frac{1}{\sqrt{2} } \cdot\left[ \begin{array}{c} -1 \\ +1 \end{array} \right].$$

Nutzung von Eigenwerten in der Informationstechnik


Zur Datenkompression mittels Eigenwertbestimmung

Abschließend soll diskutiert werden, wie Eigenwert und Eigenvektor in der Informationstechnik genutzt werden können, beispielsweise zum Zwecke der Datenreduktion.

Wir gehen von den gleichen Parameterwerten wie in  $\text{Beispiel 3}$  und  $\text{Beispiel 4}$  aus.

  • Mit  $σ_1 = σ_2 = 1$  und  $ρ = 0.8$  ergibt sich die rechts skizzierte zweidimensionale WDF mit elliptischen Höhenlinien.
  • Die Ellipsenhauptachse liegt hier wegen  $σ_1 = σ_2$  unter einem Winkel  von $45^\circ$.


In der Grafik ist zusätzlich das  $(ξ_1, ξ_2)$-Koordinatensystem eingezeichnet,  das durch die Eigenvektoren   $\mathbf{ξ}_1$  und  $\mathbf{ξ}_2$  der Korrelationsmatrix aufgespannt wird:

  • Die Eigenwerte   $λ_1 = 1.8$  und   $λ_2 = 0.2$   geben die Varianzen bezüglich des neuen Koordinatensystems an.
  • Die Streuungen sind somit  $σ_1 = \sqrt{1.8} ≈ 1.341$  und  $σ_2 = \sqrt{0.2} ≈ 0.447$.


$\text{Beispiel 5:}$  Soll eine zweidimensionale Zufallsgröße  $\mathbf{x}$  in seinen beiden Dimensionen  $x_1$  und  $x_2$  im Bereich zwischen  $–5σ$  und  $+5σ$  im Abstand  $Δx = 0.01$  quantisiert werden,  so gibt es  $\rm 10^6$  mögliche Quantisierungswerte   $(σ_1 = σ_2 = σ = 1$  vorausgesetzt$)$.

  • Dagegen ist die Anzahl der möglichen Quantisierungswerte bei der gedrehten Zufallsgröße  $\mathbf{ξ}$  um den Faktor  $1.341 · 0.447 ≈ 0.6$  geringer.
  • Das bedeutet:   Allein durch die Drehung des Koordinatensystems um  $45^\circ$   ⇒   "Transformation der 2D–Zufallsgröße"  wird die Datenmenge um ca.  $40\%$  reduziert.


Die Ausrichtung entsprechend den Hauptdiagonalen wurde für den zweidimensionalen Fall bereits auf der Seite  Drehung des Koordinatensystems  behandelt,  und zwar basierend auf geometrischen und trigonometrischen Überlegungen.

⇒   Die Problemlösung mit Eigenwert und Eigenvektor ist äußerst elegant und problemlos auf beliebig große Dimensionen  $N$  erweiterbar.

Grundlagen der Matrizenrechnung: Determinante einer Matrix


Wir betrachten die beiden quadratischen Matrizen mit Dimension  $N = 2$   bzw.  $N = 3$:

$${\mathbf{A}} = \left[ \begin{array}{cc} a_{11} & a_{12} \\ a_{21} & a_{22} \end{array} \right], \hspace{0.5cm}{\mathbf{B}} = \left[ \begin{array}{ccc} b_{11} & b_{12} & b_{13}\\ b_{21} & b_{22} & b_{23}\\ b_{31} & b_{32} & b_{33} \end{array}\right].$$

Die Determinanten dieser beiden Matrizen lauten:

$$|{\mathbf{A}}| = a_{11} \cdot a_{22} - a_{12} \cdot a_{21},$$
$$|{\mathbf{B}}| = b_{11} \cdot b_{22} \cdot b_{33} + b_{12} \cdot b_{23} \cdot b_{31} + b_{13} \cdot b_{21} \cdot b_{32} - b_{11} \cdot b_{23} \cdot b_{32} - b_{12} \cdot b_{21} \cdot b_{33}- b_{13} \cdot b_{22} \cdot b_{31}.$$

$\text{Bitte beachten Sie:}$ 

  • Die Determinante von  $\mathbf{A}$  entspricht geometrisch der Fläche des durch die Zeilenvektoren  $(a_{11}, a_{12})$  und  $(a_{21}, a_{22})$  aufgespannten Parallelogramms.
  • Die Fläche des durch die beiden Spaltenvektoren  $(a_{11}, a_{21})^{\rm T}$  und  $(a_{12}, a_{22})^{\rm T}$  festgelegten Parallelogramms ist ebenfalls  $\vert \mathbf{A}\vert$.
  • Dagegen ist die Determinante der Matrix  $\mathbf{B}$  bei analoger geometrischer Interpretation als Volumen zu verstehen.


Für  $N > 2$  ist es möglich, sogenannte  Unterdeterminanten  zu bilden.

  • Die Unterdeterminante einer  $N×N$–Matrix bezüglich der Stelle  $(i, j)$  ist die Determinante der  $(N–1)×(N–1)$–Matrix,  die sich ergibt,
    wenn man die  $i$-te Zeile und die  $j$-te Spalte streicht.
  • Als Kofaktor bezeichnet man dann den Wert der Unterdeterminante gewichtet mit dem Vorzeichen  $(–1)^{i+j}$.


$\text{Beispiel 6:}$  Ausgehend von der  $3×3$–Matrix  $\mathbf{B}$  lauten die Kofaktoren der zweiten Zeile:

$$B_{21} = -(b_{12} \cdot b_{23} - b_{13} \cdot b_{32})\hspace{0.3cm}{\rm da}\hspace{0.3cm} i+j =3,$$
$$B_{22} = +(b_{11} \cdot b_{23} - b_{13} \cdot b_{31})\hspace{0.3cm}{\rm da}\hspace{0.3cm} i+j=4,$$
$$B_{23} = -(b_{11} \cdot b_{32} - b_{12} \cdot b_{31})\hspace{0.3cm}{\rm da}\hspace{0.3cm} i+j=5.$$

Die Determinante von  $\mathbf{B}$  ergibt sich mit diesen Kofaktoren zu:

$$\vert {\mathbf{B} } \vert = b_{21} \cdot B_{21} +b_{22} \cdot B_{22} +b_{23} \cdot B_{23}.$$
  • Die Determinante wurde hier nach der zweiten Zeile entwickelt.
  • Entwickelt man  $\mathbf{B}$  nach einer anderen Zeile oder Spalte,  so ergibt sich für  $\vert \mathbf{B} \vert$  natürlich der gleiche Zahlenwert.

Grundlagen der Matrizenrechnung: Inverse einer Matrix


Häufig benötigt man die Inverse  $\mathbf{M}^{–1}$  der quadratischen Matrix  $\mathbf{M}$.  Die inverse Matrix $\mathbf{M}^{–1}$ 

  • besitzt die gleiche Dimension  $N$  wie  $\mathbf{M}$  und
  • ist wie folgt definiert,  wobei  $\mathbf{E}$  wieder die  "Einheitsmatrix"  (Diagonalmatrix)  bezeichnet:
$${\mathbf{M}}^{-1} \cdot {\mathbf{M}} ={\mathbf{E}} = \left[ \begin{array}{cccc} 1 & 0 & \cdots & 0 \\ 0 & 1 & \cdots & 0 \\ \cdots & \cdots & \cdots & \cdots \\ 0 & 0 & \cdots & 1 \end{array} \right] .$$

$\text{Beispiel 7:}$  Die Inverse der  $2×2$–Matrix  $\mathbf{A}$  lautet demnach:

$$\left[ \begin{array}{cc} a_{11} & a_{12} \\ a_{21} & a_{22} \end{array} \right]^{-1} = \frac{1}{\vert{\mathbf{A} }\vert} \hspace{0.1cm}\cdot \left[ \begin{array}{cc} a_{22} & -a_{12} \\ -a_{21} & a_{11} \end{array} \right].$$

Hierbei gibt  $\vert\mathbf{A}\vert = a_{11} · a_{22} - a_{12} · a_{21}$  die  Determinante  an.


$\text{Beispiel 8:}$  Entsprechend gilt für die  $3×3$–Matrix  $\mathbf{B}$:

$$\left[ \begin{array}{ccc} b_{11} & b_{12} & b_{13}\\ b_{21} & b_{22} & b_{23}\\ b_{31} & b_{32} & b_{33} \end{array}\right]^{-1} = \frac{1}{\vert{\mathbf{B} }\vert} \hspace{0.1cm}\cdot\left[ \begin{array}{ccc} B_{11} & B_{21} & B_{31}\\ B_{12} & B_{22} & B_{32}\\ B_{13} & B_{23} & B_{33} \end{array}\right].$$
  • Die Determinante  $\vert\mathbf{B}\vert$  einer  $3×3$–Matrix wurde auf der letzten Seite angegeben, ebenso wie die Berechnungsvorschrift der Kofaktoren  $B_{ij}$:
  • Diese beschreiben die Unterdeterminanten von  $\mathbf{B}$,  gewichtet mit den Positionsvorzeichen  $(–1)^{i+j}$.
  • Zu beachten ist die Vertauschung der Zeilen und Spalten bei der Inversen.

Aufgaben zum Kapitel


Aufgabe 4.15: WDF und Kovarianzmatrix

Aufgabe 4.15Z: Aussagen der Kovarianzmatrix

Aufgabe 4.16: Eigenwerte und Eigenvektoren

Aufgabe 4.16Z: Zwei- und dreidimensionale Datenreduktion