Zur Beschreibung einer M-stufigen Zufallsgröße verwendet man folgende Beschreibungsgrößen, deren Summe über alle μ = 1, ... , M jeweils den Wert 1 ergeben:
die Wahrscheinlichkeitenpμ = Pr(z = zμ); diese liefern Vorhersagen über das zu erwartende Ergebnis eines statistischen Versuchs und sind somit so genannte A-priori-Kenngrößen.
die relativen Häufigkeitenhμ(N); diese sind A-posteriori-Kenngrößen und erlauben statistische Aussagen bezüglich eines vorher durchgeführten Versuches. Sie werden wie folgt ermittelt:
Hierbei bezeichnet N die Anzahl aller Versuche und nμ die Anzahl der Versuche, die zum Ergebnis Eμ bzw. zu der Zufallsgröße zμ führen.
Nur im Grenzfall N → ∞ stimmen die relativen Häufigkeiten mit den zugehörigen Wahrscheinlichkeiten überein, zumindest im statistischen Sinne. Dagegen gilt für endliche Werte von N entsprechend dem vonBernoulliformulierten Gesetz der großen Zahlen:
Aus dem Bernoullischen Gesetz der großen Zahlen folgt auch die Aussage, dass bei unendlich langen Zufallsfolgen (das heißt für N → ∞) die relativen Häufigkeiten hμ(N) und die Wahrscheinlichkeiten pμ mit Wahrscheinlichkeit 1 identisch sind.
Beispiel: Eine Binärdatei besteht aus N = 106 Binärsymbolen (Bit), wobei die Nullen und Einsen gleichwahrscheinlich sind: p0 = p1 = 0.5. Das Bernoullische Gesetz der großen Zahlen (mit ε = 0.01) besagt nun, dass die Wahrscheinlichkeit des Ereignisses „die Anzahl der Nullen bzw. der Einsen in der Datei liegt zwischen 495000 und 505000” größer oder gleich 1 – 0.0025 = 99.75% ist.
Anzumerken ist:
Die Wahrscheinlichkeit dafür, dass sich die relative Häufigkeit hμ(N) eines Ereignisses Eμ und die zugehörige Wahrscheinlichkeit pμ betragsmäßig um mehr als einen Wert ε unterscheiden, ist nicht größer als 1/(4 · N · ε²). Für ein gegebenes ε und eine zu garantierende Wahrscheinlichkeit kann daraus der minimal erforderliche Wert von N berechnet werden.
Der monotone Abfall mit N gilt nur im statistischen Sinne und nicht für jede einzelne Realisierung. Beispielsweise können beim Experiment Münzwurf durchaus nach N = 1000 Würfen die relative Häufigkeiten von Zahl und Bild exakt gleich 0.5 sein (wenn nZahl = nBild = 500 ist) und nach einer größeren Anzahl von Versuchen, beispielsweise nach N = 2000, wieder mehr oder weniger stark davon abweichen.
Führen mehrere Personen parallel dass Experiment Münzwurf durch und stellt man jeweils die relative Häufigkeit in Abhängigkeit von N dar, so ergeben sich dementsprechend Kurvenverläufe, die zwar tendenziell, aber nicht monoton abfallen. Berechnet man den Mittelwert über unendlich viele solcher Kurven, so erhält man den monoton mit N abfallenden Verlauf gemäß Bernouilli.
Mit dieser Thematik, speziell mit dem Experiment vonPearson,beschäftigt sich das folgende Lehrvideo:
