Elementare Wahrscheinlichkeitstheorie und Statistik

Kurzfassung: Definitionen und Sätze

Beweise und Beispiele werden in der Vorlesung behandelt

Vorlesung SS 2003 für Bio-Informatiker und Lehramtskandidaten

Prof. Dr. Gerd Wittstock Universität des Saarlandes FR 6.1 Mathematik

Version: 9. Juli 2003

Inhaltsverzeichnis

1 Endliche W-Räume 1 1.1 W-Maß und W-Funktion . . . . . . . . . . 1 1.2 Elementare Kombinatorik . . . . . . . . . 3 1.3 Rechnen mit Indikatorfunktionen . . . . . 6 1.4 Produkt von endl. W-Räumen . . . . . . . 8 1.5 Bernoulli- und Binomialverteilung …. 11 1.6 Zufallsvariable und ihre Verteilung …. 13 1.7 Hypergeometrische Verteilung . . . . . . . 15 1.8 Gemeinsame Verteilung von Z-Var. . . . . 17 1.9 Unabhängige Zufallsvariable . . . . . . . . 19 1.10 Unabhängige Ereignisse . . . . . . . . . . 20 1.11 Bedingte Wahrscheinlichkeit . . . . . . . . 22 1.12 Zusammengesetzte W-Maße . . . . . . . . 24 1.13 Mehrstufige Experimente . . . . . . . . . 26 1.14 Polya’s Urnenmodell . . . . . . . . . . . . 29 1.15 Erwartungswert . . . . . . . . . . . . . . . 30 1.16 Bedingte Erwartung . . . . . . . . . . . . 33 1.17 Erwartungswert des Produktes . . . . . . 35 1.18 Varianz und Kovarianz . . . . . . . . . . . 36 1.19 Bedingte Varianz . . . . . . . . . . . . . . 39 1.20 Schwaches Gesetz der großen Zahl …. 40

2 Diskrete und stetige W-Räume 44 2.1 Uniforme und geometrische Verteilung . . 44 2.2 Diskrete W-Räume . . . . . . . . . . . . . 45 2.3 Konvergenz gegen geomtr. Vertlng. . . . . 49 2.4 Poisson-Verteilung . . . . . . . . . . . . . 50 2.5 Allgemeine W-Räume . . . . . . . . . . . 53 2.6 Zufallsvariable und ihre Verteilung …. 55 2.7 Eindeutigkeit eines W-Maßes . . . . . . . 56 2.8 Verteilungsfunktion . . . . . . . . . . . . . 56 2.9 Dichtefunktion, stetige Verteilungen … 58 2.10 Exponentialverteilung . . . . . . . . . . . 59 2.11 Normalverteilung . . . . . . . . . . . . . . 61 2.12 Grenzwertsatz von Moivre-Laplace …. 62

1 Endliche W-Räume

In diesem Kapitel werden einige Grundbegriffe der Wahrscheinlichkeitstheorie (W-Theorie) für den besonders einfachen Fall eines endlichen Wahrscheinlichkeitsraumes (W-Raumes) eingeführt und einfache Folgerungen gezogen.

Die genaue Regelung der Bezeichnungen mag für den endlichen Fall etwas spitzfindig klingen, bietet aber die folgenden Vorteile:

– Die Definitionen Bezeichnungen und Folgerungen gelten für allgemeinere W-Räume sinngemaß weiter. Es kommen nur noch einige mathematische Feinheiten hinzu, die im endlichen Fall keine Bedeutung haben.

– Die genaue Festlegung der Bezeichnungen erlaubt es, in Beispielen kurz und präzise zu sagen, wie das Modell aussehen soll und was zu berechnen ist.

– In den zugehörigen Übungen geht es häufig darum, umgangssprachlich formulierte Probleme, sogenante Textaufgaben, in die streng geregelte Sprache der W-Räume zu übersetzen. Die anschließende W-Rechnung ist dann zumeist nur noch Fleißarbeit. Bei endlichen W-Räumen kommt man mit den Grundrechenarten ”+ − · /“ und etwas Elementarmathematik aus.

1.1 W-Maß und W-Funktion

1.1.1 Bez. (endlicher Grundraum) Math.: Der Grundraum Ω ist eine nichtleere endliche Menge. Die Elemente werden mit ω ∈ Ω bezeichnet. Die Anzahl der Elemente |Ω| ∈ ℕ ist eine natürliche Zahl.

2^{Ω} bezeichnet die Potenzmenge von Ω. Für die Teilmengen von Ω verwenden wir die Buchstaben A, B ∈ 2^{Ω}.

Modell: Ein Experiment mit endlich vielen möglichen Ausgängen. Ω ist die Ergebnismenge oder der Ergebnisraum des Experimentes und enthält alle möglichen Ausgänge und eventuell auch einige unmögliche Ausgänge.

Es kann aus mathematischen Gründen praktisch sein, einige unmögliche Ausgänge hinzuzunehmen, wenn Ω dadurch einfacher anzugeben ist (→ z. B. Bemerkung 1.5.5)

Die Elemente ω nennt man die Elementarereignisse des Experiments. Die Teilmengen A ∈ 2^{Ω} heißen Ereignisse

Je nach Beispiel sind noch weitere Bezeichnungen für Ω üblich: Stichprobenraum …

1.1.2 Bsp. (Würfelexperiment) Ergebnisraum: Ω = {1, 2, 3, 4, 5, 6},

Elementarereignis: 6 ∈ Ω. Es ist eine 6 gewürfelt worden.

Ereignis A := {2, 4, 6} ∈ 2^{Ω}. Es ist eine gerade Augenzahl gewürfelt worden.

1.1.3 Bez. (Wahrscheinlichkeitsfunktion) Math.: Eine W-Funktion p ist eine Funktion

p : Ω → [0, 1] mit ∑_{ω∈Ω} p_{ω} = 1.

Für eine Teilmenge A ∈ 2^{Ω} setzt man

P (A) := ∑_{ω∈A} p_{ω}

und nennt die Zahl P (A) die Wahrscheinlichkeit von A. Die Abbildung

P : 2^{Ω} → [0, 1]

heißt das zu p gehörende Wahrscheinlichkeitsmaß.

Man kann die W-Funktion aus dem W-Maß auf einfache Weise rekonstruieren. Offensichtlich gilt p_{ω} = P ({ω}).

Modell: Die Ergebnisse eines Experiments sind zufällig. Für jedes Elementarergebnis ω setzt man die Wahrscheinlichkeit p_{ω} fest, daß ω eintritt. Die Wahrscheinlichkeiten p_{ω} sind nichtnegative Zahlen und so normiert, daß die Summe der Wahrscheinlichkeiten 1 ist.

Ein Ereignis A tritt ein, wenn der Ausgang ω des Experimentes in A liegt. Die Wahrscheinlichkeit, das das Ereignisses A eintritt, ist die Summe der Wahrscheinlichkeitem p_{ω} mit ω ∈ A.

Man interpretiert die Werte P (A) = 0 als unmögliches Ereignis und P (A) = 1 als sicheres Ereignis.

Anmerkung. Man findet in der Literatur (→ [7][Hinderer]) für die W-Funktion p auch die Bezeichnung Zähldichte. Die Begründung hierfür ist, daß auf endlichen W-Räumen die Funktion p die Dichte des W-Maßes P bezüglich des Zählmaßes ist. Das Zählmaß ordnet jeder Teilmenge die Anzahl ihrer Elemente zu. Bei ”kontinuierlichen“ W-Maßen tritt an die Stelle des Zählmaßes häufig das Lebesguesche Maß (Länge, Fläche bzw. Rauminhalt). In diesen Problemen haben die W-Maße eine Dichtefunktion p bezüglich des Lebesgueschen Maßes.

1.1.4 Bsp. (fairer Würfel) Ergebnisraum: Ω = {1, 2, 3, 4, 5, 6},

W-funktion: Fairer Würfel bedeutet, daß alle sechs Elementarereignis gleichwahrscheinlich sind. Also ist:

p_{ω} = \frac{1}{6} für ω = 1, 2, …, 6.

W-Maß: Das Ereignis, es ist eine gerade Augenzahl gewürfelt worden, hat die Wahrscheinlicheit

P (\{2, 4, 6\}) = \frac{1}{6} + \frac{1}{6} + \frac{1}{6} = \frac{1}{2}.

Anmerkung. Wir werden später auch Zufallsexperimente mit einer kontinuierlichen Zahl von Elementarereignissen untersuchen. Der Grundraum ist dann z. B. ein Intervall Ω := [a, b] ⊂ ℝ.

Man denke an eine zufällige Drehung mit Drehwinkel ω ∈ [0, 2π). In diesem Modell ist die Wahrscheinlichkeit, daß der Drehwinkel exakt 45^{∘} ist, wohl 0. Die Wahrscheinlichkeit, daß der Drehwinkel im ersten Quadranten liegt wird 1/4 sein. Etwas allgemeiner:

P (\{ω\}) = 0 und P ([a, b]) = \frac{b−a}{2π} für 0 ≤ a ≤ b < 2π.

Wie man sieht, ist nun die Funktion ω ↦ P ({ω}) ≡ 0 nicht sehr interessant! Die richtige Verallgemeinerung der W-Funktion ist die Dichtefunktion, die aber i.a. nicht so einfach zu erklären ist.

Im Hinblick auf allgemeinere Situationen stützen wir die axiomatische Beschreibung endlicher W-Räume auf den Begriff des W-Maßes und nicht auf den zunächst einfacher erscheinenden Begriff der W-Funktion. Die W-Funktion ist aber ein sehr nützliches Hilfsmittel bei der Berechnung des W-Maßes.

1.1.5 Def. (endlicher W-Raum) Ein endlicher Wahrscheinlichkeitsraum ist ein Paar (Ω, P), bestehend aus einer nichtleeren endlichen Menge Ω und einer Abbildung P : 2^{Ω} → [0, ∞) mit den folgenden Eigenschaften:

(i) P (Ω) = 1,

(ii) P (A∪B) = P (A)+P (B) für disjunkte A, B ∈ 2^{Ω}.

P heißt W-Maß auf Ω.

Die Eigenschaft (i) ist eine sinnvolle Normierung. Die Eigenschaft (ii) heißt (endliche) Additivität.

Anmerkung. Im physikalischen Sprachgebrauch bezeichnet man W-Maße als Statistiken, z. Bsp. Boltzmann-Statistik in der kinetischen Gastheorie. Das kollidiert mit dem sonstigen Gebrauch des Wortes Statistik

1.1.6 Festst. (Rechenregeln für W-Maße) Es seien A, B, A_{1}, …, A_{n} ∈ 2^{Ω}. Wenn A_{1}, …, A_{n} paarweise disjunkt sind, gilt:

P ( ⋃_{ν=1}^{n} A_{ν}) = ∑_{ν=1}^{n} P (A_{ν})  (1.1.1)

Für beliebige A_{1}, …, A_{n} gilt:

P ( ⋃_{ν=1}^{n} A_{ν}) ≤ ∑_{ν=1}^{n} P (A_{ν});  (1.1.2)

Speziell ist:

P (A^{c}) + P (A) = 1  (1.1.3)
P (A \ B) + P (A ∩ B) = P (A);  (1.1.4)
P (∅) = 0;  (1.1.5)
P (A ∪ B) + P (A ∩ B) = P (A) + P (B),  (1.1.6)

Wenn A ⊂ B ist, dann gilt

P (A) ≤ P (B).  (1.1.7)

1.1.7 Satz (W-Maß ⇔ W-Funktion) Es sei Ω eine nichtleere, endliche Menge.

(i) Ist P ein W-Maß auf Ω, so ist

p : Ω → [0, 1] mit p_{ω} := P ({ω})

eine W-funktion auf Ω.

(ii) Zu einer W-Funktion p : Ω → [0, 1] gibt es genau ein W-Maß P : 2^{Ω} → [0, 1] mit p_{ω} = P ({ω}).

In beiden Fällen gilt

P (A) = ∑_{ω∈Ω} p_{ω}

Anmerkung. 1. Der axiomatische Zugang zur W-Theorie (Kolmogorov 1933) erklärt den W-Raum durch die Regeln (Axiome), die ein W-Raum erfüllen muß. Im Falle eines endlichen W-Raumes sind dies die Regeln aus Definition 1.1.5.

2. Diese Regeln enthalten keine Angaben, wie in einem konkreten Beispiel die Wahrscheinlichkeiten festzulegen sind.

Dazu benötigt man weitere Informationen über das konkrete Modell. Folgerungen aus den Axiomen helfen dann bei der Festlegung der Wahrscheinlichkeiten, wie wir in dem sehr einfachen (!) Beispiel 1.1.4 gesehen haben.

1.1.8 Bem. (Häufigkeitsinterpretation) Man wiederhole ein Zufallsexperiment sehr häufig und achte darauf, daß die verschiedenen Experimente sich nicht beeinflussen. Man sagt hierzu, die Experimente sind unabhängig.

Bei n-maliger Wiederholung erhält man die Ergebnisse^{1}

x_{1}, x_{2}, x_{3}, … x_{n}.

mit x_{ν} ∈ Ω. Für eine Teilmenge A ∈ 2^{Ω} bezeichne

R_{n}(A) := \frac{1}{n} ∑_{ν=1}^{n} 1l_{A}(x_{ν})

die relative Häufigkeit, mit der das Ereignis A in den n Experimenten eingetreten ist. Dabei ist 1l_{A} die charakteristische Funktion oder Indikatorfunktion von A:

1l_{A}(w) := \begin{cases}1 & für ω ∈ A, \\ 0 & für ω ∉ A. \end{cases}

Man wird naiv erwarten, daß für große n die relative Häufigkeit R_{n}(A) ungefähr gleich der Wahrscheinlichkiet P (A) ist.

1.1.9 Bez. (empirische Wahrscheinlichkeit) Die bei der Wiederholung zufälliger Experimente unter gleichen Bedingungen beobachteten relativen Häufigkeiten verwendet man als sogenannte empirische Wahrscheinlichkeiten. Bei festem n ist

2^{Ω} ∋ A ↦ R_{n}(A)

ein W-Maß auf Ω.

Anmerkung. Hierauf beruht die statistische Schätzung der Wahrscheinlichkeit, z. Bsp. Sterbetafeln. Man möchte aufgrund von beobachteten relativen Häufigkeiten in einer Versuchsserie Vorhersagen für die relative Häufigkeit in einer zukünftigen Versuchsserie machen.

Dies setzt voraus, das wir die Ergebnisse des Experiments als zufällig betrachten können. D. h., es gibt keinen Anlaß an der Erfahrungstatsache zu zweifeln, daß bei Wiederholungen des Experiment mit mindestens derselben Anzahl von Versuchen, die relative Häufigkeiten nur sehr wenig schwanken werden.

Problem: Was sehr wenig ist, hängt von der Fragestellung ab. Wie groß soll man n wählen. Wie groß ist die Wahrscheinlichkeit, daß das beobachtete n-Tupel x_{1}, x_{2}, x_{3}, … x_{n} ein Ausreißer ist: n-mal Kopf beim Münzwurf!

Die axiomatische W-Theorie leistet bei der Beantwortung dieser Frage Hilfestellung → Schwaches Gesetz der großen Zahl.

1.1.10 Bez. (Laplace-Wahrscheinlichkeit) Math.: Die Grundmenge hat |Ω| := n Elemente. Alle Elementarereignisse sind gleichwahrscheinlich. Also gilt für ω ∈ Ω und A ∈ 2^{Ω}

p_{ω} := \frac{1}{n} und P (A) := \frac{|A|}{|Ω|}.

Man nennt diese W-Maß Laplace-Wahrscheinlichkeit oder Gleichverteilung^{2}

1Zur Bezeichnung: ω ∈ Ω bezeichnet ein beliebiges Element des Grundraumes. Eine konkrete Beobachtung bezeichnen wir dagegen mit x (→ Zufallsvariable, → Statistik)

2W-Maße nennt man auch W-Verteilungen Gerd Wittstock, UdS, FR 6.1 Mathematik,  Elementare W-Theorie, SS 03  Version: 9. Juli 2003

Model: Fairer Würfel, fairer Münzwurf, gut gemischtes Kartenspiel usw.

Hieraus konstruiert man dann weitere W-Räume wie:

– Augensumme beim zweimaligen Würfeln.

– Wann fällt zum ersten mal Kopf beim Münzwurf.

Bei Berechnung der Laplace-Wahrscheinlichkeit helfen Formeln der Kombinatorik (→ Abschnitt 1.2), um die Anzahl der Elemente von Mengen einer bestimmten Bauart zu bestimmen.

1.2 Elementare Kombinatorik

Elementare Kombinatorik: Lehre von der Abzählung endlicher strukturierter Mengen.

Die folgenden Tatsachen sind aus der Grundvorlesung bekannt:

1.2.1 Bem. (Permutation, Potenzmenge, Produkt) (i) M ist eine endliche Menge mit |M| := n Elementen, wenn es eine bijektive Abbildung von {1, 2, …, n} ⊂ ℕ auf die Menge M gibt. Die Zahl n heißt die Mächtigkeit der Menge M.

Für die leere Menge sei |∅| = 0.

(ii) Bijektive Abbildungen σ : {1, 2, …, n} → M heißen Permutationen oder Anordnungen oder Aufzählungen der Menge M.

Für eine Menge mit n Elementen gibt es

n! := 1 · 2 ⋯ (n − 1) · n

Permutationen. Man setzt 0! = 1.

(iii) Eine injektive Abbildung σ : {1, …, k} → M gibt eine Aufzählung einer k-elementigen Teilmenge von M an. Es gibt genau

(n)_{k} := n · (n − 1) ⋯ (n − k + 1)

injektive Abbildungen von {1, …, k} in M. Beachte: (n)_{k} = 0 für k > n. Das leere Produkt ergibt (n)_{0} = 1.

(iv) Eine Menge M mit n Elementen hat genau

\binom{n}{k} := \frac{(n)_{k}}{k!}

k-elementige Teilmengen. Es ist

\binom{n}{k} := \begin{cases}\frac{n!}{k!(n − k)!} & für 0 ≤ k ≤ n \\ 0 & für n < k. \end{cases}

Insbesondere ist \binom{n}{0} = 1. Der Ausdruck \binom{n}{k} heißt Binomialkoeffizient.

(v) Die Menge aller Teilmengen von M heißt die Potenzmenge von M. Jeder Teilmenge A ⊂ M entspricht eineindeutig ihre charakteristische Funktion oder Indikatorfunktion 1l_{A}. Auf diese Weise erhält man eine Bijektion von {0, 1}^{M} mit der Potenzmenge.

Die Potenzmenge von M hat genau 2^{|M|} Elemente. Daher rührt die Bezeichnung 2^{M} für die Potenzmenge.

(vi) Es seien M_{1}, …, M_{k} endliche Mengen. Die Pro-
duktmenge M := ∏_{κ=1}^{k} M_{κ} hat

|M| = ∏_{κ=1}^{k}|M_{κ}|

Elemente. Nach Definition ist das Produkt leer, wenn zumindest einer der Faktoren M_{κ} = ∅ ist.

1.2.2 Festst. (Abzählprinzip) Bemerkung 1.2.1(vi) nennt man das Abzählprinzip, daß man umgangssprachlich folgendermaßen formuliert:

Es sei Ω eine Menge von n-Tupeln ω = (ω_{1}, ω_{2}, …, ω_{n}). Der Raum Ω sei der Ergebnisraum eines Experimentes, das aus n Teilexperimenten besteht. Für jedes ν ∈ {1, 2, …, n} sei k_{ν} die Zahl der möglichen Ergebnisse des ν-ten Experiments. Die Zahl k_{ν} sei unabhängig davon, wie die anderen Teilexperimente ausgehen. Dann ist

|Ω| = k_{1} · k_{2} ⋯ k_{n}.

Anmerkung. Oft lassen sich die Anzahlen auf eine von vier typischen Grundsituationen zurückführen (→ Stichproben 1.2.3 und Belegungen 1.2.5)

1.2.3 Bez. (Stichproben) Aus einer n-elementigen Menge M kann man auf verschiedene Weise eine Stichprobe vom Umfang k entnehmen. Man nennt die Menge M auch eine Urne, aus der man die Stichprobe zieht. Bei der Stichprobe unterscheidet man, ob es zum Schluß auf die Reihenfolge ankommt oder nicht und ob man nach jedem Ziehen wieder zurücklegt oder nicht. Das ergibt vier Typen

geordnete Stichprobe ohne Wiederholung: k-maliges Ziehen aus der Urne ohne Zurücklegen unter Beachtung der Reihenfolge. Bsp: Ziehung im Zahlenlotto 6 aus 49.

Math.: injektive Abbildung {1, 2, …, k} → M, Aufzählung einer k-elementigen Teilmenge.

geordnete Stichprobe mit Wiederholung:

k-maliges Ziehen aus der Urne mit Zurücklegen unter Beachtung der Reihenfolge. Bsp. n = 6, k-maliges Würfeln mit einem Würfel.

Math.: k-Tupel, Abbildung {1, 2, …, k} → M.

ungeordnete Stichprobe ohne Wiederholung: k-maliges Ziehen aus der Urne ohne Zurücklegen und ohne Beachtung der Reihenfolge. Bsp: Gewinnzahlen im Zahlenlotto 6 aus 49.

Math.: k-elementige Teilmenge von M Abbilung f : M → {0, 1} mit ∑_{ω∈M} f(ω) = k.

ungeordnete Stichprobe mit Wiederholung: k-maliges Ziehen aus der Urne mit Zurücklegen ohne Beachtung der Reihenfolge. Bsp. n = 6, k nicht unterscheidbare Würfel in einem Becher.

Math.: Abbildung f : M → ℕ mit ∑_{ω∈M} f(ω) = k.

Anmerkung. Wir bestimmen nun die Anzahl der möglichen Stichproben in den obigen vier Fällen. Das besagt noch nichts über geeignete W-Maße auf dem Raum der Stichproben!

1.2.4 Satz (Stichprobenanzahl) Für die Anzahl der möglichen Stichproben vom Umfang k aus einer Menge mit n Elementen gilt:

Stichprobe vom Umfang k aus M, |M| = n ohne Wie- derholung

mit Wie- derholung

geordnete Stichprobe

(n)_{k} n^{k}

ungeordnete Stichprobe

\binom{n}{k}

\binom{n + k − 1}{k}

Dabei ist

(n)_{k} := \frac{n!}{(n − k)!} = n · (n − 1) ⋯ (n − k + 1)

1.2.5 Bez. (Belegungen) Eine Stichprobe vom Umfang k aus M kann man auch anders interpretieren:

Die Menge M besteht aus Zellen. Man hat k Objekte, die auf die Zellen zu verteilen sind. Eine Stichprobe x_{1}, x_{2}, …, x_{k} gibt an, in welche Zelle die Objekte zu legen sind.

Bei geordneten Stichproben werden die Objekte entsprechend angeordnet und kommen der Reihe nach in die angegebene Zelle. Bei Stichproben mit Wiederholung kommen mehrere Objekte in dieselbe Zelle.

Sind die Objekte ununterscheidbar, so kommt es auf die Reihenfolge, in der die Objekte auf die Zellen verteilt werden, nicht an. Dieser Fall entspricht der ungeordneten Stichprobe. Die ungeordnete Stichprobe gibt nur an, in welche Zellen Objekte kommen.

Man hat also die folgenden vier Fälle:

unterscheidbare Objekte, keine Mehrfachbelegung: geordnete Stichprobe ohne Wiederholung

Math.: Injektive Abbildung von der Menge K der Objekte in die Menge M der Zellen.

unterscheidbare Objekte, Mehrfachbelegung: geordnete Stichprobe mit Wiederholung

Math.: Abbildung von der Menge K der Objekte in die Menge M der Zellen.

nicht unterscheidbare Objekte, keine Mehrfachbelegung: ungeordnete Stichprobe ohne Wiederholung

Math.: k-elementige Teilmenge von M oder Abbildung f : M → {0, 1} mit ∑_{ω∈M} f(ω) = k.

nicht unterscheidbare Objekte, mit Mehrfachbelegung: ungeordnete Stichprobe mit Wiederholung

Math.: Abbildung f : M → ℕ mit ∑_{ω∈M} f(ω) = k.

Anmerkung. Wir bestimmen nun die Anzahl der möglichen Belegungen in den obigen vier Fällen. Das besagt noch nichts über geeignete W-Maße auf dem Raum der Belegungen!

1.2.6 Folg. (Anzahl der Belegungen) Für die Anzahl der möglichen Belegungen von n Zellen mit k Objekten gilt:

Belegung von M mit k Objekten, |M| = n ohne Mehrfachbelegung mit Mehrfachbelegung

unterscheidbare

Objekte (n)_{k} := \frac{n!}{(n − k)!} n^{k}

Objekte nicht unterscheidbar

\binom{n}{k}

\binom{n + k − 1}{k}

Formeln für Binomialkoeffizienten. Wir bringen ei-

nige Beispiele. Man kann die Formeln einerseits durch Nachrechnen zeigen. Dazu wird man zumeist einen Induktionsbeweis führen. Andere folgen leicht aus der binomischen Formel

(x + y)^{n} = ∑_{k=0}^{n} \binom{n}{k}x^{k}y^{n−k} für n ∈ ℕ_{0}.

Man setze für x, y spezielle Werte ein, differenziere die Formel … Man kann solche Formeln auch durch Bildung von passenden Mengen von ungeordneten Stichproben ohne Wiederholung aus {1, …, n}, d.h. passenden Teilmengen der Potenzmenge von {1, …, n}, interpretieren:

1.2.7 Bsp. (Komplementärmengen) Für 0 ≤ k ≤ n gilt

\binom{n}{k} = \binom{n}{n − k}.

Die Komplementbildung ist eine bijektive Abbildung der Potenzmenge von {1, …, n} auf sich. Es gibt also genau soviele k-elementige Teilmengen wie (n − k)-elementige Teilmengen.

1.2.8 Bsp. (Additionstheorem) Für 1 ≤ k ≤ n gilt

\binom{n}{k} = \binom{n − 1}{k} + \binom{n − 1}{k − 1}.

linke Seite: Anzahl der ungeordneten Stichproben ohne Wiederholung vom Umfang k aus {1, …, n}.

Man zerlege diese in zwei disjunkte Typen. Deren Anzahlen ergeben die rechte Seite.

n nicht in der Stichprobe: Dies sind alle ungeordneten Stichproben ohne Wiederholung vom Umfang k aus \{1, …, n − 1\}. Anzahl ist \binom{n−1}{k}.

n ist in der Stichprobe: Nimmt man das Element n davon weg, erhält man alle ungeordneten Stichproben ohne Wiederholung vom Umfang k − 1 aus \{1, …, n − 1\}. Anzahl ist \binom{n−1}{k−1}.

Man kann die Methode von Beispiel 1.2.8 verallgemeinern:

1.2.9 Bsp. Für 1 ≤ k ≤ n ist

\binom{n}{k} = ∑_{m=k−1}^{n−1} \binom{m}{k − 1}
= \binom{k−1}{k−1} + \binom{k}{k−1} + … \binom{n−1}{k−1}.

linke Seite: Anzahl der k-elementigen Teilmengen von {1, …, n}.

Man zerlege die Menge der k-elementigen Teilmengen in folgende disjunkte Typen. Deren Anzahlen ergeben die rechte Seite.

Teilmengen, die {k + 1, …, n} nicht enthalten:

Hiervon gibt es genau eine: {1, …, k}. Anzahl ist 1 = \binom{k−1}{k−1}

Teilmengen, die {k + 2, …, n} nicht enthalten

und k + 1 enthalten: Anzahl ist \binom{k}{k−1} . . . . . .

Teilmengen, die {n − 1, n} nicht enthalten und n − 2 enthalten: Anzahl ist \binom{n−3}{k−1}.

Teilmengen, die {n} nicht enthalten und n − 1 enthalten: Anzahl ist \binom{n−2}{k−1}.

Teilmengen, die \{n\} enthalten: Anzahl ist \binom{n−1}{k−1}.

1.2.10 Bsp. Für 1 ≤ k ≤ n ist

∑_{k=0}^{n} \binom{n}{k} = 2^{n}.

linke Seite: Für k = 1, 2, …, n bilde man die Anzahlen der k-elementigen Teilmengen von {1, …, n} und summiere diese auf. Dies ergibt die Anzahl aller Teilmengen von {1, …, n}.

rechte Seite: Mächtigkeit der Potenzmenge von {1, …, n}.

1.2.11 Bsp. Für n ∈ ℕ ist

\binom{n}{0} + \binom{n}{2} + \binom{n}{4} + ⋯ = \binom{n}{1} + \binom{n}{3} + \binom{n}{5} + …

linke Seite: Anzahl der Teilmengen von {1, …, n} mit gerader Anzahl von Elementen.

rechte Seite: Anzahl der Teilmengen von {1, …, n} mit ungerader Anzahl von Elementen.

Es sei Ω := {1, …, n}. Die folgende Abbildung φ : 2^{Ω} → 2^{Ω} ist bijektiv und bildet Teilmengen A ∈ 2^{Ω} mit gerader Elementanzahl auf solche mit ungerader Elementanzahl ab und umgekehrt.

φ : A ↦ \begin{cases}A ∪ \{n\} & wenn n ∉ A. \\ A \ \{n\} & wenn n ∈ A. \end{cases}

Folglich gibt es genausoviel Teilmengen mit gerader Anzahl wie mit ungerader Anzahl.

1.2.12 Bsp. Für n ∈ ℕ_{0} ist

∑_{k=1}^{n} k\binom{n}{k} = n2^{n−1}.

Es sei Ω = {1, …, n}.

linke Seite: Mächtigkeit der Menge

L := {(a, A) | A ∈ 2^{Ω}, a ∈ A}.

rechte Seite: Mächtigkeit der Menge

R := {(b, B) | b ∈ Ω, B ⊂ Ω \ {b}}

= ⋃_{b∈Ω}{(b, B) | B ⊂ Ω \ {b}}.

Man beachte, daß dies eine Vereinigung von n disjunkten Mengen ist, die alle die gleiche Mächtigkeit 2^{n−1} haben.

Die folgende Abbildung φ : L → R ist bijektiv:

L ∋ (a, A) ↦ (a, A \ {a}) ∈ R.

Also sind L und R gleichmächtig.

1.2.13 Bsp. Für n ∈ ℕ_{0} ist

∑_{k=0}^{n} \binom{n}{k}^{2} = ∑_{k=0}^{n} \binom{n}{n − k}\binom{n}{k} = \binom{2n}{n}.

Die erste Gleichung folgt aus der Komplementärformel 1.2.7.

Für die zweite Gleichung realisieren wir die linke und rechte Seite als Mächtigkeiten. Es sei Ω := {1, …, n}.

linke Seite: Mächtigkeit der Menge

L := {(A, B) | A, B ∈ 2^{Ω}, |A| + |B| = n}

rechte Seite: Mächtigkeit der Menge

R := {C | C ⊂ Ω × {0, 1}, |C| = n}.

Die folgende Abbildung φ : L → R ist bijektiv:

L ∋ (A, B) ↦ A × {0} ∪ B × {1} ∈ R.

Also sind L und R gleichmächtig.

Anmerkung. Der Binomialkoefizient \binom{n}{k} gibt an, auf wieviele Arten man eine Menge mit n Elementen derart in zwei Gruppen aufteilen kann, daß die erste Gruppe k Elemente und die zweite n − k Elemente hat.

Die Multinomialkoeffizenten geben an, auf wie viele Arten man eine Menge mit n Elementen in m Gruppen aufteilen kann, so daß die erste Gruppe k_{1}, die zweite k_{2} und die m-te Gruppe k_{m} Elemente hat. Dabei kommt es auf die Reihenfolge der Gruppen an und es muß natürlch k_{1} + k_{2} + ⋯ k_{m} = n gelten.

1.2.14 Bez. (Multinomialkoeffizienten) Es seien m, n ∈ N, 1 ≤ m ≤ n und (k_{1}, …, k_{m}) ∈ ℕ_{0}^{n}

mit ∑_{μ=1}^{m} k_{μ} = n. Es gibt

\binom{n}{k_{1}}\binom{n − k_{1}}{k_{2}} ⋯ \binom{n − k_{1} − k_{2} − ⋯ − k_{m−1}}{k_{m}}

= \frac{n!}{k_{1}! · k_{2}! ⋯ k_{m}!}

Gerd Wittstock, UdS, FR 6.1 Mathematik,  Elementare W-Theorie, SS 03  Version: 9. Juli 2003

Einteilungen einer n-elementigen Menge in m durchnummerierte Gruppen mit k_{1}, k_{2}, …, k_{m} Elementen.

Die so bestimmten Zahlen heißen Multinomialkoeffizienten und werden mit \binom{n}{k_{1},...,k_{m}} bezeichnet. Man setzt

\binom{n}{k_{1},...,k_{m}} = 0, wenn ∑_{μ=1}^{m} k_{μ} ≠ n ist.

Anmerkung. (Multinomialformel) Analog zur Binomialformel gibt es die Multinomialformel:

(p_{1} +⋯+p_{m})^{n} = ∑_{\begin{matrix}(k_{1},...,k_{m})∈ℕ_{0}^{m} \\ k_{1}+···+k_{m}=n \end{matrix}} \frac{n!}{k_{1}! · k_{2}! ⋯ k_{m}!} p_{1}^{k_{1}} ⋯ p_{m}^{k_{m}}. (1.2.1)

Ist speziell p_{1} + ⋯ + p_{m} = 1 so ist in Gleichung 1.2.1 die rechte Seite gleich 1.

1.3 Rechnen mit Indikatorfunktionen

1.3.1 Bem. (Indikatorfunktion) Für A ⊂ Ω bezeichnet 1l_{A} die charakteristische Funktion oder Indikatorfunktion von A:

1l_{A}(w) := \begin{cases}1 & für ω ∈ A, \\ 0 & für ω ∉ A. \end{cases}

Es gelten die folgenden Regeln: ,

(i) 1l_{A∪B} = 1l_{A} + 1l_{B}, wenn A, B disjunkt sind;

(ii) 1l_{⋃_{ν=1}^{n} A_{ν}} = ∑_{ν=1}^{n} 1l_{A_{ν}}, wenn A_{1}, …, A_{n} paarweise disjunkt sind;

Für beliebige Teilmengen von Ω gilt:

(iii) 1l_{A∩B} = 1l_{A}1l_{B} = min{1l_{A}, 1l_{B}},

(iv) 1l_{⋂_{ν=1}^{n} A_{ν}} = ∏_{ν=1}^{n} 1l_{A_{ν}},

(v) 1l_{A\B} = 1l_{A} − 1l_{A∩B},

(vi) 1l_{A^{c}} = 1 − 1l_{A},

(vii) 1l_{A∪B} = 1l_{A} + 1l_{B} − 1l_{A∩B} = min{1l_{A}, 1l_{B}},

(viii) A ⊂ B ⇔ 1l_{A} ≤ 1l_{B}.

Mit der folgenden Feststellung kann man die Rechenregeln für endliche W-Räume auf die entsprechenden Regeln für endliche Summen zurückführen.

1.3.2 Festst. Für eine Menge Ω und eine endliche Teilmenge A ⊂ Ω gilt

|A| = ∑_{ω∈A} 1l_{A}(ω)

1.3.3 Bem. Mit der Morganschen Regel

( ⋃_{ν=1}^{n} A_{ν})^{c} = ⋂_{ν=1}^{n} A_{ν}^{c}  (1.3.1)

folgt aus

1l_{⋂_{ν=1}^{n} A_{ν}} = ∏_{ν=1}^{n} 1l_{A_{ν}}  (1.3.2)

und 1l_{A^{c}} = 1 − 1l_{A}, daß

1l_{⋃_{ν=1}^{n} A_{ν}} = 1 − 1l_{⋂_{ν=1}^{n} A_{ν}^{c}}  (1.3.3)
= 1 − ∏_{ν=1}^{n}(1 − 1l_{A_{ν}})  (1.3.4)

= ∑_{i=1}^{n}(−1)^{i+1}s_{i}.  (1.3.5)

Dabei sind die s_{i} die Summe der i-fachen Produkte der Indikatorfunktionen:

s_{i} = ∑_{1≤ν_{1}<···<ν_{i}≤n} ∏_{j=1}^{i} 1l_{A_{ν_{j}}} .

Wendet man nochmal (1.3.2) an, so erhält man

s_{i} = ∑_{1≤ν_{1}<···<ν_{i}≤n} 1l_{⋂_{j=1}^{i} A_{ν_{j}}} .  (1.3.6)

1.3.4 Folg. (Siebformel) Es seien A_{1}, …, A_{n} ⊂ Ω. Für die Mächtigkeit der Vereingung gilt

| ⋃_{ν=1}^{n} A_{ν} | = ∑_{i=1}^{n}(−1)^{i+1}m_{i},

wobei die m_{i} die summierten Mächtigkeiten der i-fachen Schnittmengen sind:

m_{i} = ∑_{1≤ν_{1}<···<ν_{i}≤n} | ⋂_{j=1}^{i} A_{ν_{j}} |.

Anmerkung. Die folgende Formel ist ein Spezialfall des → Erwartungswertes einer Zufallsvariablen.

1.3.5 Festst. Für einen W-Raum (Ω, P) und A ∈ 2^{Ω} gilt

p(A) = ∑_{ω∈A} 1l_{A}(ω)P ({ω}).

Manchmal ist die die Wahrscheinlichkeit von Schnittmengen leichter zu berechnen als die von Vereinigungen. Dann hilft die folgende Formel:

1.3.6 Satz (Einschluß-Auschluß-Formel) Es seien (Ω.P) ein endlicher W-Raum und A_{1}, …, A_{n} ∈ 2^{Ω}. Dann ist

P ( ⋃_{ν=1}^{n} A_{ν}) = ∑_{i=1}^{n}(−1)^{i+1}S_{i},

wobei die S_{i} die summierten Wahrscheinlichkeiten der i-fachen Schnittmengen sind:

S_{i} = ∑_{1≤ν_{1}<···<ν_{i}≤n} P ( ⋂_{j=1}^{i} A_{ν_{j}}).

1.3.7 Bsp. Wie groß ist die Wahrscheinlichkeit, daß bei einer Permutation von M := {1, …, n} alle Elemente vertauscht werden, also keines an seinem Platz bleibt. Dabei seien alle Permutationen gleichwahrscheinlich.

Der Grundraum sind die Permutationen

Ω := {(x_{1}, …, x_{n}) ∈ {1, …, n}^{n} | x_{i} ≠ x_{j} für i ≠ j}

mit Laplace-Wahrscheinlichkeit. Es ist |Ω| = n!.

Für ν = 1, …, n sei

A_{ν} = {(x_{1}, …, x_{n}) ∈ Ω | x_{ν} = ν}.

Die Vereinigung ⋃_{ν=1}^{n} A_{ν} ist die Menge der Permutationen, die zumindest eine Stelle festlassen, d.h. x_{i} = i für irgendein i ∈ M.

Für beliebige 1 ≤ ν_{1} < ⋯ < ν_{i} ≤ n hat die Schnittmenge

⋂_{j=1}^{i} A_{ν_{j}} = {(x_{1}, …, x_{n}) ∈ Ω | x_{ν_{j}} = ν_{j} für j = 1, …, i}

genau (n−i)! Elemente. Die Laplace-Wahrscheinlichkeit des Durchschnitts hängt also nur von der Anzahl i der Schnittmengen ab.

P ( ⋂_{j=1}^{i} A_{ν_{j}}) = \frac{(n − i)!}{n!}.

Es gibt \binom{n}{i} mögliche Auswahlen für die Indizes 1 ≤ ν_{1} < ⋯ < ν_{i} ≤ n.

Die Einschluß-Ausschluß-Formel ergibt nun

P ( ⋃_{ν=1}^{n} A_{ν}) = ∑_{i=1}^{n}(−1)^{i+1}\binom{n}{i}\frac{(n − i)!}{n!}

= ∑_{i=1}^{n}(−1)^{i+1} \frac{1}{i!}  (1.3.7)

Anmerkung. Man erinnere sich an die Exponentialreihe:

e^{x} = ∑_{k=0}^{∞} \frac{x^{k}}{k!} für x ∈ R.

Setzt man x = −1, so folgt

lim_{k→∞} P ( ⋃_{ν=1}^{n} A_{ν}) = ∑_{k=1}^{∞}(−1)^{k+1} \frac{1}{k!}

= 1 − ∑_{k=0}^{∞} \frac{(−1)^{k}}{k!}

= 1 − e^{−1} ≈ 0, 632.  (1.3.8)

Da es sich um eine Leibniz-Reihe (alternierendes Vorzeichen der Summanden) handelt, ist

|P ( ⋃_{ν=1}^{n} A_{ν}) − (1 − e^{−1})| ≤ \frac{1}{(n + 1)!} .

Für n = 6 ist \frac{1}{7!} ≤ 0, 0002. Die gesuchte Wahrscheinlichkeit ist fast konstant ≈ 0, 632

1.4 Produkt von endl. W-Räumen

1.4.1 Bez. (Produkt von zwei Laplace-Räumen) Math.: Es seien (Ω_{1}, P_{1}) und (Ω_{2}, P_{2}) zwei W-Räume mit Laplace-Wahrscheinlichkeit. Der Grundraum Ω := Ω_{1} × Ω_{2} mit Laplace-Wahrscheinlichkeit P heißt das Produkt der beiden Räume (Ω_{1}, P_{1}) und (Ω_{2}, P_{2}).

Für die Anzahl gilt

|Ω_{1} × Ω_{2}| = |Ω_{1}||Ω_{2}.|

Für ω = (ω_{1}, ω_{2}) ∈ Ω_{1} × Ω_{2} gilt also:

P (ω) = \frac{1}{|Ω|} = \frac{1}{|Ω_{1}|} \frac{1}{|Ω_{2}|}. = P_{1}(ω_{1})P_{2}(ω_{2})

Für Teilmengen der Form A × B ⊂ Ω_{1} × Ω_{2} erhält man

\begin{aligned}P (A × B) & = ∑_{ω∈A×B} P (ω) \\ & = ∑_{\begin{matrix}ω_{1}∈A \\ ω_{2}∈B \end{matrix}} P (ω_{1})P (ω_{2}) \\ & = ∑_{ω_{1}∈A} P (ω_{1}) ∑_{ω_{2}∈B} P (ω_{2}) \\ & = P_{1}(A)P_{2}(B). \end{aligned}  (1.4.1)

Diese Produktformeln sind der Anlaß für die Bezeichnung des Produktraumes:

Ω := Ω_{1} × Ω_{2} und P := P_{1} ⊗ P_{2}

Modell: Wir betrachten zwei Zufallsexperimente E_{1} und E_{2} die durch W-Räume (Ω_{1}, P_{1}) und (Ω_{2}, P_{2}) mit Laplace-Wahrscheinlichkeit beschrieben werden. Führt man beide Experimente E_{1} und E_{2} durch, so ist dies ein neues Experiment E.

Die Ergebnismenge von E ist das Kartesische Produkt

Ω := Ω_{1} × Ω_{2} := {(w_{1}, w_{2}) | ω_{1} ∈ Ω_{1}, ω_{2} ∈ Ω_{2}}.

Wenn E_{1} und E_{2} sich nicht gegenseitig beeinflussen, dann werden die Elementarereignisse in Ω wieder gleichwahrscheinlich sein. D.h. E wird durch den W-Raum (Ω, P) modelliert, wobei P die Laplace-Wahrscheinlichkeit ist.

Für Ereignisse A ∈ 2^{Ω_{1}} und B ∈ 2^{Ω_{2}} ist A × B das Ereignis, daß im ersten Experiment A eintritt und im dem anderen B. Die Wahrscheinlichkeit von A × B ist die Wahrscheinlichkeit, daß A eintritt, mal der Wahrscheinlichkeit, daß B eintritt.

1.4.2 Bem. (Produkt von Laplace-Räumen) Es seien (Ω_{ν}, P_{ν}) Laplace-Räume. Für den Produktraum

Ω := Ω_{1} × Ω_{2} × ⋯ × Ω_{n}

mit Laplace-Wahrscheinlichkeit P gilt die Produktformel:

P (A_{1} × A_{2} × ⋯ × A_{n}) = P_{1}(A_{1}) · P_{2}(A_{2}) ⋯ P_{n}(A_{n}).

für A_{ν} ∈ 2^{Ω_{ν}}.

Anmerkung. Man kann auch ganz andere W-Verteilungen auf dem Produktraum bilden.

Bsp. Es seien Ω_{1} = Ω_{2} = {0, 1} mir Laplaceverteilung. Man denke an den Wurf mit einer fairen Münze.

Auf Ω := Ω_{1} × Ω_{2} betrachte man die folgende W-Funktion p:

p(i, j) := \begin{cases}\frac{1}{2} & für i = j \\ 0 & für i ≠ j. \end{cases}

Dieses (Ω, P) beschreibt den zweimaligen Wurf mit einer Trickmünze mit Gedächtnis. Beim ersten Wurf sind die Elementarereignisse Kopf und Zahl gleichverteilt. Das Ergebnis beim zweiten Wurf ist immer das gleiche wie beim ersten Wurf.

Man beachte, schaut man sich nur die Ergebnisse des zweiten Wurfes an, ohne den ersten zu kennen, so sind Kopf und Zahl wieder gleichverteilt:

P (Ω_{1} × \{0\}) = P (Ω_{1} × \{1\}) = \frac{1}{2}

(→ Bezeichnung 1.8.4 Marginalverteilungen ).

1.4.3 Ziel (Häufigkeiten bei unabhäng. Exper.) Das folgende Überlegung beruht auf Plausibilität, sie ist so nicht mathematisch beweisbar, sondern dient als Motivation für die anschließende Definition → Satz 1.4.5

Wir betrachten zwei Zufallsexperimente E_{1} und E_{2} die durch W-Räume (Ω_{1}, P_{1}) und (Ω_{2}, P_{2}) beschrieben werden. P_{1} bzw. P_{2} können beliebig sein.

E := (E_{1}, E_{2}) sei das Experiment, in dem man jeweils E_{1} und E_{2} durchführt. Dies soll so geschehen, daß sich die Ergebnisse von E_{1} und E_{2} nicht beinflussen. E hat den Ergebnisraum Ω := Ω_{1} × Ω_{2} mit einem noch zu bestimmenden W-Maß P.

Wir betrachten zwei Ereignisse A ∈ 2^{Ω_{1}} und B ∈ 2^{Ω_{2}} mit positiven Wahrscheinlichkeiten P_{1}(A) > 0 und P_{2}(B) > 0. Wir nehmen an, daß in beiden Fällen für alle hinreichend großen n die relative Häufigkeiten R_{n}(A) ≈ P_{1}(A) bzw. R_{n}(B) ≈ P_{2}(B) seien.

Man führe E N-mal durch, wobei N sehr groß sei. Wie groß, werden wir gleich festlegen. Wir erhalten die Ergebnisse

(x_{1}, y_{1}), (x_{2}, y_{2}), …, (x_{N}, y_{N}).

Hiermit bilden wir die relativen Häufigkeiten:

R_{N}(A × B) := \frac{1}{N} ∑_{ν=1}^{N} 1l_{A×B}(x_{ν}, y_{ν})

R_{N}(A) := \frac{1}{N} ∑_{ν=1}^{N} 1l_{A}(x_{ν})

R_{N}(B) := \frac{1}{N} ∑_{ν=1}^{N} 1l_{B}(y_{ν})

Wir zeigen, daß unter den getroffenen Annahmen

R_{N}(A × B) ≈ R_{N}(A)R_{N}(B)  (1.4.2)

ist.

Die Voraussetzung, daß sich die Experimente nicht beeinflussen, interpretieren wir dahingehend, daß R_{N}(A) ≈ P_{1}(A) und R_{N}(B) ≈ P_{2}(B) ist. D.h., kein Experiment beeinflußt den Ausgang des anderen.

Wir wählen unter den (x_{ν}, y_{ν}) diejenigen aus, für die die erste Komponente in A liegt:

(x̃_{1}, ỹ_{1}), (x̃_{2}, ỹ_{2}), … (x̃_{m}, ỹ_{m}).

Wenn N groß genug ist, wird nach Annahme

\frac{m}{N} = R_{N}(A) ≈ P_{1}(A) > 0.

sein. Für hinreichend großes N ist also

m = NR_{N}(A) ≈ NP_{1}(A) ≥ n.

Die getroffene Auswahl der zweiten Komponenten ỹ_{1}, ỹ_{2}, … ỹ_{m} hängt zwar vom Ausgang des ersten Experimentes ab. Daß sich die Experimente nicht beeinflussen, interpretieren wir dahingehend, daß diese Auswahl keinen Einfluß auf die relative Häufigkeit im zweiten Experiment hat. Es sei

R̃_{m}(B) := \frac{1}{m} ∑_{μ=1}^{m} 1l_{B}(ỹ_{μ})

die relative Häufigkeit mit der die ỹ_{μ} in B liegen.

Da m hinreichend groß ist, ist nach unserer Annahme

R̃_{m}(B) ≈ P_{2}(B) ≈ R_{N}(B).

Somit folgt

R_{N}(A × B) = \frac{1}{N} ∑_{ν=1}^{N} 1l_{A×B}(x_{ν}, y_{ν})

= \frac{1}{N} ∑_{ν=1}^{N} 1l_{A}(x_{ν})1l_{B}(y_{ν})

= \frac{1}{N} ∑_{μ=1}^{m} 1l_{B}(ỹ_{μ})

= \frac{m}{N} R̃_{m}(B) = R_{N}(A)R̃_{m}(B)

≈ R_{N}(A)R_{N}(B).

Die obige Formel 1.4.2 legt die folgende Festsetzung nahe: Für A ∈ 2^{Ω_{1}}, B ∈ 2^{Ω_{2}} ist

P (A × B) := P_{1}(A)P_{2}(B)  (1.4.3)

Der folgende Satz 1.4.5 besagt, daß es genau ein W-Maß P_{1,2} auf Ω_{1} × Ω_{2} gibt, für daß die Formel 1.4.3 gilt. Wir verwenden in der folgenden anschaulichen Überlegung bereits die übliche Bezeichnung P_{1} ⊗ P_{2} für P_{12}. Für diese Verknüpfung von W-Maßen ist assoziativ → Feststellung 1.4.7. Wir geben zuvor eine anschauliche Interpretation des Assoziativgesetzes.

1.4.4 Ziel (Assoziativgesetz) Man führe drei Zufallsexperimente E_{1}, E_{2}, E_{3} so durch, daß sie sich nicht beeinflussen. Die Experimente werden durch die W-Räume (Ω_{i}, P_{i}) (i = 1, 2, 3) modelliert. Das Gesamtexperiment (E_{1}, E_{2}, E_{3}) hat den Ergebnisraum Ω_{1} × Ω_{2} × Ω_{3}. Wie üblich identifizieren wir

Ω_{1} × Ω_{2} × Ω_{3} = (Ω_{1} × Ω_{2}) × Ω_{3} = Ω_{1} × (Ω_{2} × Ω_{3}).

D.h., man darf bei der Bildung von Tupeln innere Klammern weglassen: (ω_{1}, ω_{2}, ω_{3}) = (ω_{1}, (ω_{2}, ω_{3})) = ((ω_{1}, ω_{2}), ω_{3}).

Wir denken uns zwei Experimentatoren, von denen einer zwei Experimente durchführt und der andere das übrige Experiment. Dann führen die beiden ihre Beobachtungen zu einem Experiment zusammen.

• Der erste Eperimentator führt die ersten beiden Experimente durch und der andere das dritte. Der erste wird sein Experiment E_{12} := (E_{1}, E_{2}), wie in → Ziel 1.4.3 diskutiert, durch den Produktraum (Ω_{12}, P_{12}) := (Ω_{1}×Ω_{2}, P_{1}⊗P_{2}) modellieren. Da E_{12} und E_{3} sich nicht beeinflussen, werden die beiden Experimentatoren das Gesamtexperiment E_{(12)3} := (E_{12}, E_{3}) durch den Produktraum (Ω_{1,2} ×Ω_{3}, P_{12} ⊗ P_{3}) = (Ω_{1} × Ω_{2} × Ω_{3}, (P_{1} ⊗ P_{2}) ⊗ P_{3}) beschreiben.

• Nun teilen die beiden Experimentatoren die Experimente anders auf: der erste führt E_{1} durch und der andere die übrigen beiden. Der zweite Experimentator wird sein Experiment E_{23} = (E_{2}, E_{3}) durch den W-Raum (Ω_{23}, P_{23}) := (Ω_{2} × Ω_{3}, P_{2} ⊗ P_{3}) beschreiben. Die Zusammenführung zu einem Experiment E_{1(23)} ergibt nun den W-Raum (Ω_{1} ×Ω_{23}, P_{1} ⊗P_{23}) (Ω_{1} × Ω_{2} × Ω_{3}, P_{1} ⊗ (P_{2} ⊗ P_{3})

Die Aufteilung der Experimente auf die Experimentatoren soll natürlich das Ergebnis nicht verändern, d.h. die beobachteten Häufigkeiten für E_{(12)3} und E_{1(23)} sind ungefähr gleich. Für die mathematische Konstruktion des Produktes von W-Räumen wird das folgende Assoziativgesetz gelten:

(P_{1} ⊗ P_{2}) ⊗ P_{3} = P_{1} ⊗ (P_{2} ⊗ P_{3}).

Man kann also wie beim Produkt von Zahlen die Klammern weglassen.

Das Assoziativgesetz ist aber keine zusätzliche Forderung an das Produkt von W-Räumen, sondern folgt bereits aus der Eindeutigkeit der Konstruktion → Satz 1.4.5

Eine analoge Betrachtung ergibt, daß bei einer Permutation σ der Experimente die Produkträume maßgleich sind:

\begin{matrix}(Ω_{1} × Ω_{2} × Ω_{3}, P_{1} ⊗ P_{2} ⊗ P_{3}) \\ ≅ (Ω_{σ_{1}} × Ω_{σ_{2}} × Ω_{σ_{3}}, P_{σ_{1}} ⊗ P_{σ_{2}} ⊗ P_{σ_{3}}) \end{matrix}

1.4.5 Satz (Produkt von W-Räumen) Es seien n ∈ ℕ, (Ω_{ν}, P_{ν}), (ν = 1, …, n) endliche W-Räume. Dann gibt es auf dem Produktraum

Ω := ∏_{ν=1}^{n} Ω_{ν}

genau ein W-Maß P mit der folgenden Eigenschaft: Für alle n-Tupel (A_{1}, A_{2}, …, A_{n}) mit A_{ν} ∈ 2^{Ω_{ν}} ist

P (A_{1} × A_{2} × ⋯ × A_{N}) = P_{1}(A_{1})P_{2}(A_{2}) ⋯ P (A_{N})

Man schreibt kurz P := P_{1} ⊗ P_{2} ⊗ ⋯ ⊗ P_{n} und nennt P das Produkt der Maße P_{1}, P_{2}, …, P_{n}.

1 ENDLICHE W-RÄUME 10

Die zugehörige W-Funktion p : Ω → [0, 1] hat die Form

p_{(ω_{1},ω_{2},...,ω_{n})} = p_{1 ω_{1}} · p_{2 ω_{2}} ⋯ p_{n ω_{n}}.  (1.4.4)

1.4.6 Folg. (W-Funktion des Produktmaßes) Bei endlichen W-Räumen bestimmt die Formel 1.4.4 das Produktmaß bereits eindeutig, denn es gilt:

P (A_{1} × … A_{n}) = ∑_{\begin{matrix}(ω_{1},ω_{2},...,ω_{n}) \\ ∈A_{1}×···×A_{n} \end{matrix}} p_{(ω_{1},ω_{2},...,ω_{n})}

= ∑_{w_{1}∈A_{1}} ⋯ ∑_{w_{n}∈A_{n}} p_{(ω_{1},ω_{2},...,ω_{n})}

= ∑_{w_{1}∈A_{1}} ⋯ ∑_{w_{n}∈A_{n}} p_{1 ω_{1}} · p_{2 ω_{2}} ⋯ p_{n ω_{n}}

= ∑_{w_{1}∈A_{1}} p_{1 ω_{1}} ⋯ ∑_{w_{n}∈A_{n}} p_{n ω_{n}}

= P_{1}(A_{1}) ⋯ P_{n}(A_{n}).

Anmerkung. 1. Man spricht P_{1} ⊗ P_{2} als ”P1 tensor P2“ oder kurz ”P1 mal P2“. Das Wort tensor beugt einer Verwechslung mit dem Produkt von Zahlen vor.

2. Zur Information: Die Benutzung des Wortes tensor rührt daher, daß es sich beim Produkt von Maßen um einen Spezialfall des Tensorproduktes V_{1} ⊗ V_{2} von Vektorräumen V_{1}, V_{2} handelt.

Die Maße auf einer n-elementigen Menge Ω bilden einen 2^{n}- dimensionalen Vektorraum ℳ(Ω). Für endliche Mengen Ω_{1}, Ω_{2} ist der Vektorraum ℳ(Ω_{1} × Ω_{2}) isomorph zum Tensorprodukt der Räume ℳ(Ω_{1}) und ℳ(Ω_{2}), oder kurz

ℳ(Ω_{1} × Ω_{2}) ≅ ℳ(Ω_{1}) ⊗ ℳ(Ω_{2}).

In diesem Sinne ist P_{1} ⊗ P_{2} ∈ ℳ(Ω_{1}) ⊗ ℳ(Ω_{2}).

Eine verwandte Bildung ist das Tensorprodukt reeller Funktionen: Für f_{i} : Ω_{i} → ℝ (i = 1, 2) definiert man

f_{1} ⊗ f_{2} : Ω_{1} × Ω_{2} → ℝ durch f_{1} ⊗ f_{2} : (ω_{1}, ω_{2}) ↦ f_{1}(ω_{1})f_{2}(ω_{2}).

Die reellen Funktionen auf einer n-elementigen Menge Ω bilden einen n-dimensionalen Vektorraum ℱ(Ω). Für endliche Mengen Ω_{1}, Ω_{2} ist

ℱ(Ω_{1} × Ω_{2}) ≅ ℱ(Ω) ⊗ ℱ(Ω).

Für zwei Funktionen f, g ∈ ℱ(Ω) unterscheide man

f ⊗ g ∈ ℱ(Ω × Ω), f ⊗ g(ω_{1}, ω_{2}) = f(ω_{1})g(ω_{2}),
fg ∈ ℱ(Ω),  fg(ω) = f(ω)g(ω).

Die Gleichung (1.4.4) für die W-Funktionen kann man etwas abstrakter auch so schreiben:

p = p_{1} ⊗ p_{2} ⊗ ⋯ ⊗ p_{n}.

3. Man findet für das Produktmaß auch die Bezeichnung (→ [1][Krengel])

P_{1} × P 2 := P_{1} ⊗ P_{2}

Anmerkung. Das kartesische Produkt ist assoziativ. Wie üblich identifiziert man

Ω_{1} × ⋯ × Ω_{n} = (Ω_{1} × ⋯ Ω_{n−1}) × Ω_{n}
= Ω_{1} × (Ω_{2} × ⋯ Ω_{n})

und für 1 < k < n − 1

Ω_{1} × ⋯ × Ω_{n} = (Ω_{1} × ⋯ × Ω_{k}) × (Ω_{k+1} × ⋯ × Ω_{n})

1.4.7 Festst. (Assoziativgesetz) Es seien n ∈ ℕ, (Ω_{ν}, P_{ν}), (ν = 1, …, n) endliche W-Räume. Die Bildung des Produktmaßes ist assoziativ:

P_{1} ⊗ ⋯ ⊗ P_{n} = (P_{1} ⊗ ⋯ P_{n−1}) ⊗ P_{n}
= P_{1} ⊗ (P_{2} ⊗ ⋯ P_{n})

und für 1 < k < n − 1

P_{1} ⊗ ⋯ ⊗ P_{n} = (P_{1} ⊗ ⋯ ⊗ P_{k}) ⊗ (P_{k+1} ⊗ ⋯ ⊗ P_{n})

Man darf also beliebig klammern:

Für 1 < k_{1} < k_{n} < ⋯ < k_{l} = n gilt

(Ω_{1} × ⋯ × Ω_{k_{1}}) × (Ω_{k_{1}+1} × ⋯ × Ω_{k_{2}}) × ⋯

⋯ × (Ω_{k_{l−1}+1} × ⋯ × Ω_{k_{l}}) = Ω_{1} × ⋯ × Ω_{n}

und

(P_{1} ⊗ ⋯ ⊗ P_{k_{1}}) ⊗ (P_{k_{1}+1} ⊗ ⋯ ⊗ P_{k_{2}}) ⊗ ⋯

⋯ ⊗ (P_{k_{l−1}+1} ⊗ ⋯ ⊗ P_{k_{l}}) = P_{1} ⊗ ⋯ ⊗ P_{n}

1.4.8 Bez. Bei der Bildung des Produktes von n gleichen Faktoren (Ω′, P′). schreiben wir kurz

Ω := (Ω′)^{n} und P := (P′)^{⊗n}.

1.5 Bernoulli- und Binomialverteilung

1.5.1 Bez. (n-faches Bernoulli-Experiment) 1. Ein W-Maß P auf {0, 1} heißt Bernoulli-Experiment. P ist durch die Zahl p := P ({1} ∈ [0, 1] eindeutig festgelegt. Man nennt ein W-Maß auf {0, 1} kurz eine einfache Bernoullische Verteilung mit dem Parameter p.

2. Ein Zufallsexperiment mit mit nur zwei Ausgängen, die man mit 0 und 1 bezeichnet, heißt ein einfaches Bernoulli-Experiment mit Parameter p = P ({1}).

Man sagt auch Bernoullische Verteilung mit Erfolgswahrscheinlichkeit p. Das kann aber in konkreten Beispielen sehr unpassend klingen.

3. Wir betrachten nun das Experiment, das in der n-fachen unabhängigen Wiederholung eines einfachen Bernoulli-Experimentes mit Parameter p besteht. Wir nennen dies kurz ein n-faches Bernoulli-Experiment mit Parameter p.

Es sei also Ω_{ν} := {0, 1} und P_{ν} die einfache Bernoulli-Verteilung mit Parameter p. Das n-fache Bernoulli-Experiment wird dann durch

Ω_{1} × Ω_{2} × ⋯ × Ω_{n} = {0, 1}^{n}
P_{1} ⊗ P_{2} ⊗ ⋯ ⊗ P_{n} = P^{⊗n}

beschrieben. Nach Formel 1.4.4 ist

p_{(ω_{1},ω_{2},...,ω_{n})} = p^{k}(1 − p)^{n−k}  (1.5.1)

wenn

k := ω_{1} + ω_{2} + ⋯ + ω_{n}

die Zahl der Einsen in (ω_{1}, ω_{2}, …, ω_{n}) ist. Das durch Gleichung 1.5.1 bestimmte W-Maß P^{⊗n} auf {0, 1}^{n} heißt n-fache Bernoulli-Verteilung.

4. Das Ereignis, das insgesamt genau k Einsen auftreten wird durch die Menge

A_{k} := {ω ∈ {0, 1}^{n} | ∑_{ν=1}^{n} ω_{ν} = k}

beschrieben. Alle Elemente ω ∈ A_{k} haben die gleiche Wahrscheinlichkeit p_{ω} = p^{k}(1 − p)^{n−k}. Wir haben eine bijektive Abbildung von A_{k} auf die Menge der ungeordneten Stichproben ohne Wiederholung vom Umfang k aus {1, 2, …, n}. Die Stichprobe gibt an, auf welchen Plätzen die Einsen in ω sitzen. Also ist die Anzahl der Elemente von A_{k} gleich der Anzahl der k-elementigen Stichproben, also gleich \binom{n}{k}. Die Wahrscheinlichkeit von A_{k} bezeichnet man mit

b_{n,p}(k) := \binom{n}{k}p^{k}(1 − p)^{n−k}.  (1.5.2)

Da die A_{k} paarweise disjunkt sind, ist

∑_{k=1}^{n} b_{n,p}(k) = ∑_{k=0}^{n} \binom{n}{k}p^{k}(1 − p)^{n−k} = 1.  (1.5.3)

Man beachte, daß die rechte Seite von Gleichung 1.5.3 sich auch aus der binomischen Formel ergibt:

1 = (p + (1 − p))^{n} = ∑_{k=0}^{n} \binom{n}{k}p^{k}(1 − p)^{n−k}.

1.5.2 Bez. (Binomialverteilung) Das W-Maß auf Ω := {0, 1, 2, …, n} mit der W-Funktion

p_{k} := b_{n;p}(k) := \binom{n}{k}p^{k}(1 − p)^{n−k}

heißt die Binomialverteilung mit Parameter n und p. Es wird mit ℬ_{n;p}(A) für A ∈ 2^{Ω} bezeichnet.

Anmerkung. 1. Bei einem n-fachen Bernoulli-Experiment mit Parameter p ist die Binomialverteilung auf {0, 1, 2, …, n} die Wahrscheinlichkeit für die Anzahl der Einsen (Erfolge)

X(ω) := ∑_{ν=1}^{n} ω_{ν} für ω = (ω_{1}, ω_{2}, …, ω_{n}) ∈ {0, 1}^{n}.

Die Funktion X : {0, 1}^{n} → {0, 1, 2, …, n} ist ein Beispiel einer → Zufallsvariablen und die Binomialverteilung ist die → Verteilung von X.

2. Es gibt nicht die Binomialverteilung sondern eine Familie solcher Verteilungen, die durch die Parameter n und p unterschieden werden.

Man kann die Binomialverteilung auf Experimente mit mehr als zwei Ausgängen verallgemeinern.

1.5.3 Bsp. (Multinomialverteilung) Bei einem Zufallsexperiment treten die möglichen Elementarereignisse ω_{1}, ω_{2}, …, ω_{m} mit den Wahrscheinlich-

keiten p_{1}, p_{2}, …, p_{m} auf. Es ist ∑_{μ=1}^{m} p_{μ} = 1.

Wie groß ist die Wahrscheinlichkeit bei n-maliger unabhängiger Wiederholung des Experimentes k_{1} mal das Ergebnis ω_{1}, k_{2} mal das Ergebnis ω_{2}, … und k_{m} mal das Ergebnis ω_{m} zu erhalten? Dabei sind die k_{μ} ∈ ℕ_{0} und

es ist ∑_{μ=1}^{m} k_{μ} = n.

Das Experiment wird durch den Grundraum Ω = {ω_{1}, ω_{2}, …, ω_{m}} und dem W-Maß P mit P {ω_{i}} = p_{i} beschrieben. Die n-malige unabhängige Wiederholung des Experimentes wird durch den Produktraum Ω^{n} und das Produktmaß P^{⊗n} modelliert. Für (x_{1}, x_{2}, …, x_{n}) ∈ Ω^{n} mit

k_{μ} := ∑_{ν=1}^{n} 1l_{{ω_{μ}}}(x_{ν})

ist

\begin{aligned}P^{⊗n}\{(x_{1}, x_{2}, …, x_{n})\} & = ∏_{ν=1}^{n} P (\{x_{ν}\}) \\ & = p_{1}^{k_{1}} · p_{2}^{k_{2}} ⋯ p_{m}^{k_{m}}. \end{aligned} (1.5.4)

Gleichung 1.5.4 verallgemeinert die n-fache Bernoulli-Verteilung (→ Gleichung 1.5.1) auf Experimente mit m möglichen Ausgängen.

Es sei A das Ereignis, daß für μ = 1, 2, …, m das Ergebnis ω_{μ} genau k_{μ} mal eintrifft:

A := {(x_{1}, x_{2}, …, x_{n}) ∈ Ω^{n} | ∑_{ν=1}^{n} 1l_{{ω_{μ}}}(x_{ν}) = k_{μ}

für μ = 1, 2, …, m} (1.5.5)

Die Anzahl der Elemente von A ist nach Bezeichnung 1.2.14

|A| = \frac{n!}{k_{1}! · k_{2}! ⋯ k_{m}!}.

Da nach Gleichung 1.5.4 alle Elemente von A die gleiche Wahrscheinlichkeit haben ist

P^{⊗n}(A) = n! ∏_{μ=1}^{m} \frac{p_{μ}^{k_{μ}}}{k_{μ}!} .  (1.5.6)

1.5.4 Bez. (Multinomialverteilung) Es seien m ∈ ℕ, m ≥ 2, p_{μ} ∈ [0, 1] mit ∑_{μ=1}^{m} p_{μ} = 1. Man erhält auf dem Raum

Ω := {(k_{1}, k_{2}, …, k_{m}) ∈ ℕ_{0}^{m} | ∑_{μ=1}^{m} k_{μ} = n}

ein W-Maß P durch die Vorschrift

P \{(k_{1}, k_{2}, …, k_{m})\} := n! ∏_{μ=1}^{m} \frac{p_{μ}^{k_{μ}}}{k_{μ}!} .  (1.5.7)

Dieses W-Maß heißt Multinomialverteilung mit den Parametern n und (p_{1}, p_{2}, …, p_{n}) und wird mit ℳ_{n;p_{1},...,p_{m}} bezeichnet. Die durch Gleichung 1.5.7 erklärte W-Funktion bezeichnet man mit m_{n;p_{1},...,p_{m}}(k_{1}, …, k_{m}).

1.5.5 Bem. Mitunter wird die Multinomialverteilung auch auf dem größeren Raum

Ω̃ = {0, 1, …, n}^{m}

erklärt. Man setzt dann

ℳ_{n;p_{1},...,p_{n}}(k_{1}, …, k_{m}) = 0 für ∑_{μ=1}^{m} k_{μ} > n.

1.6 Zufallsvariable und ihre Verteilung

In einem Zufallsexperiment (Ω, P) interessiert häufig nicht das Elementarereignis ω ∈ Ω sondern der Wert f(ω), den eine Abbildung f : Ω → M an der Stelle ω annimmt. Z. Bsp. bei zwei Würfeln die Augensumme oder Pasch oder nicht-Pasch. In diesem Zusammenhang nennt man die Abbildung f eine Zufallsvariable.

In der Stochastik wählt man gewöhnlich große Buchstaben X, Y, N, S … zur Bezeichnung von Zufallsvariablen. Wenn M oder seine Elemente besondere Namen haben, verwendet man diese auch bei der Benennung von X.

– X : Ω → ℝ reelle Zufallsvariable.

– X : Ω → ℝ^{d} Zufallsvektor.

– N : Ω → ℕ zufällige Zahl.

Wenn die Elemente von M üblicherweise mit x, y, z bezeichnet werden, so verwendet man entsprechend X, Y, Z für M-wertige Zufallsvariable. Führt man das Zufallsexperiment n-mal durch, so beobachtet man für die Zufallsvariable X die Werte x_{1}, x_{2}, …, x_{n}.

1.6.1 Bez. (Zufallsvariable) Es sei (Ω, P) ein W-Raum, M eine Menge. Eine Abbildung X : Ω → M heißt eine M-wertige Zufallsvariable.

Anmerkung. (Verwendung des Wortes Zufallsvariable)

1. Neben der in der Mengenlehre üblichen Bezeichnung f : Ω → M für Abbildungen gibt es die hergebrachte Schreibweise y = f(x) oder ganz kurz y = y(x). Man drückt aus, daß ein Meßwert y mit einem Parameter x variiert. In den beiden letzteren Schreibweisen heißt y die abhängige Variable und x die unabhängige Variable.

In diesem Sinn ist eine Zufallsvariable X eine abhängige Variable. Die zugehörige unabhängige Variable ist ein Elementarereignis ω eines W-Raumes (Ω, P).

2. Das Wort Zufallsvariable erinnert auch an die bei mehrfacher Wiederholung des Experimentes variierenden Ergebnisse x_{1}, x_{2}, x_{3} . . .. Häufig konstruiert man erst bei der mathematischen Modellierung den zugrundeliegenden W-Raum (Ω, P) und die Abbildung X : Ω → M.

3. Zufallsvariable heißt auf englisch random variable, französisch variable aléatoire.

1.6.2 Bsp. (Augensumme) Man würfelt mit zwei fairen Würfeln. Die Zufallsvariable sei die erzielte Augensumme. Eigentlich interessiert nur der Ergebnisraum X := {2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12} und das W-Maß auf X, daß dieses Zufallsexperiment modelliert. Einfacher ist aber das folgende Vorgehen:

1. Zwei unabhängige faire Würfel oder zweimaliges unabhängiges Würfeln beschreibt man durch dem Produktraum

\begin{aligned}Ω & := \{1, …, 6\} × \{1, …, 6\} \\ & = \{(i, j) | i, j = 1, …, 6\} \end{aligned}  (1.6.1)

und der Laplace-Wahrscheinlichkeit auf Ω. Wir bilden die Teilmengen

A_{k} := {(i, j) ∈ Ω | i + j = k} für k = 2, 3, …, 12.

Die Anzahl der Elemente ist

|A_{2}| = 1, |A_{3}| = 2, |A_{4}| = 3, …, |A_{12}| = 1.

Die Anzahl ist symmetrisch zu k = 7, da sich bei einem Würfel die Augen auf gegenüberliegenden Seiten zu 7 ergänzen.:

|A_{7−k}| = |A_{7+k}| für k = 1, 2, …, 5.

Die entsprechenden Laplace-Wahrscheinlichkeiten sind:

P (A_{2}) = \frac{1}{36}, P (A_{3}) = \frac{2}{36}, P (A_{4}) = \frac{3}{36},
P (A_{5}) = \frac{4}{36}, P (A_{6}) = \frac{5}{36}, P (A_{7}) = \frac{6}{36},
P (A_{8}) = \frac{5}{36}, P (A_{9}) = \frac{4}{36}, P (A_{10}) = \frac{3}{36},
P (A_{11}) = \frac{2}{36}, P (A_{12}) = \frac{1}{36}.

Die gesuchte W-Funktion p_{X} auf X := {2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12} ist also

\begin{matrix}x & 2 & 3 & 4 & 5 & 6 & 7 … & 11 & 12 \\ p_{X} & \frac{1}{36} & \frac{2}{36} & \frac{3}{36} & \frac{4}{36} & \frac{5}{36} & \frac{6}{36} … & \frac{2}{36} & \frac{1}{36} \end{matrix}

Die Wahrscheinlichkeit einer Teilmenge B ⊂ X ist

P_{X} (B) := ∑_{x∈B} p_{X} (x) = P ({(i, j) | i + j ∈ B}).

2. Das obige vorgehen ist typisch. Man kann es mit Hilfe der Zufallsvariablen (Augensumme)

X : Ω → ℕ X : (i, j) ↦ i + j.

kürzer schreiben:

(Ω, P) werde wie in Gleichung 1.6.1 erklärt. Es ist X := X(Ω) die Wertemenge von X. Für eine Teilmenge B ⊂ X ist

P_{X}(B) = P ({ω | ω ∈ Ω, X(ω) ∈ B})  (1.6.2)

für die rechte Seite schreiben wir kürzer

= P {X ∈ B}

Das durch Gleichung 1.6.2 erklärte W-Maß auf X heißt die Verteilung der Zufallsvariablen X.

Wir haben in Gleichung 1.6.2 die Bezeichnung für das W-Maß von P_{X} in P_{X} geändert, was sinnvoller ist. Die Wahrscheinlichkeit eine 7 zu würfeln ist nun

P_{X}\{7\} := P \{X = 7\} = \frac{6}{36}.

und die Wahrscheinlichkeit, mindestens 7 Augen zu würfeln, ist P (\{≥ 7\} = \frac{21}{36}.

Es führt auch nicht zu Schwierigkeiten, wenn man die Verteilung von X auf einer größeren Menge erklärt; z. Bsp auf M := {1, 2, 3 …, 12}. Dann ist eben P_{X}({1}) = P (X = 1) = P (∅) = 0.

1.6.3 Satz (Verteilung einer Zufallsvariablen) Es seien (Ω, P) ein W-Raum, M eine endliche Menge und X eine M-wertige Zufallsvariable.

(i) Dann erhält man ein W-Maß P_{X} auf M durch die Vorschrift:

P_{X}(B) := P ({ω | ω ∈ Ω, X(ω) ∈ B})

für B ∈ 2^{M}. Man schreibt dies kürzer als P_{X}(B) = P (X ∈ B).

P_{X} heißt die Verteilung der Zufallsvariablen X oder das Bild von P unter X oder auch das durch X und P induzierte W-Maß.

(ii) Bezeichnet man wie üblich die Umkehrabbildung auf der Potenzmenge mit

X^{−1} : 2^{M} → 2^{Ω},
X^{−1} : B ↦ {ω ∈ Ω | X(ω) ∈ B},

so gilt P_{X} := P ∘ X^{−1}; d.h.

P_{X}(B) = P (X^{−1}(B)) für B ∈ 2^{M}.

Anmerkung. Bei einer reellen Zufallsvariablen X(Ω, P) → ℝ verwechsele man die Verteilung P_{X} nicht mit der kumulativen Verteilung. Für reelle X definiert man die kumulative Verteilung F_{X} durch

F_{X} : ℝ → [0, 1], F_{X}(t) := P (X ≤ t) = ∑_{\begin{matrix}ω∈Ω \\ X(ω)≤t \end{matrix}} p_{ω}.

Die kumulative Verteilung ist eine reelle Funktion einer reellen Variablen. Für endliche Ω ist die kumulative Verteilung eine monoton wachsende rechtsseitig stetige Treppenfunktion.

Zwischen der Verteilung P_{X} und der kumulativen Verteilung F_{X} bestehen die folgenden Beziehungen:

F_{X}(t) = P_{X}((−∞, t]) ∩ X(Ω)),
P ((a, b] ∩ X(Ω)) = F_{X}(b) − F_{X}(a).

1.6.4 Festst. (Funktionen von Zufallsvariablen) Gegeben seien ein W-Raum (Ω, P), endliche Mengen M, Ω′ und Zufallsvariablen

X : Ω → M, Y : Ω → Ω′

und eine Abbildung Z : Ω′ → M so, daß

X = Z ∘ Y

ist. Man bilde den W-Raum (Ω′, P_{Y}). Dann haben die Zufallsvariablen

X : (Ω, P) → M und Z : (Ω′, P_{Y}) → M

die gleiche Verteilung: (M, P_{X}) = (M; P_{Z}) oder kurz

(P_{Y})_{Z} = P_{Z∘Y} .  (1.6.3)

Anmerkung. 1. Eine andere Bezeichnung für das Bildmaß von P unter X ist

ℒ(X|P) = ℒ(X) := P_{X}.

Der Buchstabe ℒ steht für engl. law = Verteilung. Gleichung 1.6.3 liest sich in dieser Bezeichnung als ℒ(Z ∘ Y |P) = ℒ(Z|ℒ(Y |P)).

2. Andere Autoren ([2]) nennen das Bildmaß P_{X} das von X induzierte Maß und bezeichnen es mit P ⋆ X. Gleichung 1.6.3 liest sich in dieser Bezeichnung als (P ⋆ Y) ⋆ Z = P ⋆ (Z ∘ Y).

3. Die obige Feststellung 1.6.4 besagt, daß man dasselbe Experiment mit unterschiedlichen Grundräumen und Zufallsvariablen modellieren kann.

1.6.5 Bem. (W-Maß ⇔ Verteilung einer Z-Var.) (i) Verteilungen von Zufallsvariablen und W-Maße sind zueinander äquivalente Konzepte.

• Die Verteilung einer Zufallsvariablen ist ein W-Maß.

• Zu jedem W-Maß P′ auf einer endlichen Menge Ω′ gibt es eine Zufallsvariable X mit Bildmenge Ω′ und der Verteilung P′, z. B. Ω := Ω′, P := P′ und X := id_{Ω}. Diese Zufallsvariable hat die Verteilung P_{X} = P′.

(ii) Aus Feststellung 1.6.4 folgt, daß X nicht eindeutig wählbar ist.

Darauf kommt es aber auch nicht an. Letztendlich will man die Wahrscheinlichkeit eines Ereignisses B ∈ 2^{Ω′} bestimmen. Die Zufallsvariable X : (Ω, P) → Ω′ mit Verteilung P_{X} = P′ kann dabei helfen, wenn man das Maß P {X ∈ B} leichter ermitteln kann. Man denke an das Beispiel 1.6.2 der Augensumme von zwei Würfeln, indem die Wahrscheinlichkeit für die Augensumme auf die einfachere Laplace-Wahrscheinlichkeit zurückführt wird.

(iii) Daher wird X : (Ω, P) → Ω′ später oft gar nicht explizit angegeben.

Zum Beispiel reicht die Angabe ”Sei X eine binomialverteilte Zufallsvariable mit den Parametern n und p“ meist völlig aus. Dies bedeutet, daß ”X die Wertemenge {0, …, n} hat und daß P_{X} = ℬ_{n,p} ist. Die explizite Angabe von (Ω, P) und die Abbildungsvorschrift für X braucht man nur solange, bis man erkannt hat, daß X biomialverteilt mit diesen Parametern ist. Danach ist es zumeist völlig unwichtig, ob die Zufallsvariable X durch Würfeln oder zufälliges Ziehen von Karten oder sonstwie realisiert wird.

Andererseits kann aber ein gute Wahl eines speziellen X : (Ω, P) → Ω′ die Rechnung erleichtern. Resultate, die nur von der Verteilung P_{X} abhängen, gelten dann für alle Zufallsvariablen mit der gleichen Verteilung.

(iv) Ob man mit W-Räumen oder Zufallsvariablen argumentiert, ist Geschmackssache. Zufallsvariable sind oft anschaulicher und die Formulierungen mit Zufallsvariablen sind dichter am Problem. Das ist aber nicht unbedingt ein Vorteil!

Ein anderer Grund ist, Zufallsvariable kann man wie übliche Variable leicht in Formeln einsetzen, Dagegen ist das Hantieren mit Mengen und Maßen für den Nichtmathematiker gewöhnungsbedürftig.

1.7 Hypergeometrische Verteilung

1.7.1 Bsp. (Urnenmodel für hypergeom. Vert.) 1. Aus einer Urne mit N unterscheidbaren Kugeln wird eine Stichprobe vom Umfang n ohne Wiederholung entnommen. Die Urne enthalte zwei Sorten von Kugeln, K schwarze und N − K rote. Die Farbe soll keinen Einfluß auf Wahrscheinlichkeit einer Stichproben haben, d.h., alle Stichproben sind gleichwahrscheinlich.

Die Zufallsvariable X mit Werten in

Ω := {k ∈ ℕ | max(0, n − (N − K)) ≤ k ≤ min(K, n)

gibt die Anzahl der schwarzen Kugeln in der Stichprobe an.

Man überlege sich, daß Ω die genaue Wertemenge von X ist.

Die Verteilung von X heiße die hypergeometrische Verteilung auf Ω.

2. Für den Stichprobenraum kommen zwei Typen in Frage (→ Satz 1.2.4)

Ω_{ord}: Geordnete Stichproben vom Umfang n aus N ohne Wiederholung, Anzahl ist (N)_{n}.

Ω_{unord}: Ungeordnete Stichproben vom Umfang n aus N ohne Wiederholung, Anzahl ist \binom{N}{n}.

Man versehe Ω_{ord} bzw. Ω_{unord} jeweils mit der Laplace-Wahrscheinlichkeit P_{ord} bzw. P_{unord}.

3. Wir betrachten für X die beiden Fälle

X_{ord} : Ω_{ord} → Ω
X_{unord} : Ω_{unord} → Ω

und zeigen, daß beide die gleiche Verteilung haben.

4. Es sei Y : Ω_{ord} → Ω_{unord} die Abbildung, die jeder geordneten Stichprobe die entsprechende ungeordnete Stichprobe zuordnet. Jedes ungeordnete Stichprobe vom Umfang n hat n! mögliche Anordnungen, d.h.

|Y^{−1}{ω}| = n! für alle ω ∈ Ω_{unord}.

Da Ω_{ord} die Laplace-Wahrscheinlichkeit hat ist die Verteilung P_{Y} die Gleichverteilung auf Ω_{unord}. Aus

X_{ord} = X_{unord} ∘ Y.

folgt nach Feststellung 1.6.4, daß X_{ord} und X_{unord} die gleiche Verteilung haben.

5. Die Verteilung von X_{unord} ist etwas einfacher zu berechnen, als die von X_{ord} Wir bestimmen dazu die Anzahl von {X_{unord} = k} ⊂ Ω_{unord}:

Jede Stichprobe zerfällt in eine Stichprobe aus den schwarzen Kugeln und eine Stichprobe aus den roten Kugeln. Es gibt

\binom{K}{k} Möglichkeiten, aus K schwarzen Kugeln k auszuwählen.

\binom{N−K}{n−k} Möglichkeiten, aus N −K roten Kugeln n−k auszuwählen.

Es tritt jede Kombination von schwarzen Stichproben mit roten Stichproben auf. Nach dem Abzählprinzip 1.2.2 ist die Anzahl von {X_{unord} = k} das Produkt der Möglichleiten:

|\{X_{unord} = k\}| = \binom{K}{k}\binom{N−K}{n−k}.

Für die Laplace-Wahrscheinlichkeit auf Ω_{unord} folgt:

P_{unord}\{X_{unord} = k\} = \frac{|\{X_{unord} = k\}|}{|Ω_{unord}|} = \begin{matrix}\binom{K}{k} & \binom{N−K}{n−k} \\ ( & {N \atop n} & ) \end{matrix}.

1.7.2 Bez. (hypergeometrische Verteilung) Es seien N, K, n ∈ ℕ mit

0 ≤ K ≤ N, 1 ≤ n ≤ N

und

Ω := {k ∈ ℕ | max(0, n − (N − K)) ≤ k ≤ min(K, n)}.

Das durch

h_{N,K,n}(k) := \begin{matrix}\binom{K}{k} & \binom{N−K}{n−k} \\ ( & {N \atop n} & ) \end{matrix}

eindeutig bestimmte W-Maß auf Ω heißt die hypergeometrische Verteilung mit den Parametern N, K, n und wird mit ℋ_{N,K,n} bezeichnet. Die zugehörige W-Funktion ist h_{N,K,n}.

1.7.3 Bem. (Hypergeom. Vert. auf {0, 1, …, n}) Mitunter wird die hypergeometrische Verteilung auch auf dem größeren Raum

Ω̃ := {0, 1, …, n}

erklärt. Beachtet man, daß nach Definition

\binom{K}{k} = 0 für k > K,
\binom{N−K}{n−k} = 0 für k < n − (N − K)

ist, so gilt hier die gleiche Formel

ℋ_{N,K,n}\{k\} := \begin{matrix}\binom{K}{k} & \binom{N−K}{n−k} \\ ( & {N \atop n} & ) \end{matrix}

für k ∈ {0, …, n}.

1.7.4 Bsp. (Herleitung mit Ω_{ord}) Wir berechnen direkt die Verteilung der Zufallsvariablen:

X := X_{ord} : Ω_{ord} → Ω

(→ Beispiel 1.7.1 Punkt 3). Der Raum Ω_{ord} der geordneten Stichproben vom Umfang n aus N Elementen hat nach Voraussetzung die Laplace-Wahrscheinlichkeit. Die Anzahl der Stichproben ist (N)_{n} (→ Satz 1.2.4).

Wir zählen, wieviele dieser Stichproben k schwarze Kugeln enthalten. Dazu wählen wir zunächst geordnete Stichproben von k schwarzen und n − k roten Kugeln. Dann wählen wir eine k-elementige Teilmenge aus {1, …, n}, die die Plätzen angibt, auf die schwarzen Kugeln der Reihe nach gelegt werden. Die weißen Kugeln kommen der Reihe nach auf die verbleibenden Plätze. So erhalten wir alle geordneten Stichproben vom Umfang n mit k schwarzen Kugeln. Es gibt (K)_{k} geordnete Stichproben vom Umfang k aus den K schwarzen Kugeln.

(N−K)_{n−k} geordnete Stichproben vom Umfang n−k aus den N − K roten Kugeln.

\binom{n}{k} Möglichkeiten, die Plätze für die k schwarzen Kugeln zu wählen.

Nach dem Abzählprinzip 1.2.2 ist die Anzahl von {X = k} das Produkt der Möglichleiten:

|\{X = k\}| = (K)_{k}(N − K)_{n−k}\binom{n}{k}.

Für die Laplace-Wahrscheinlichkeit auf Ω_{unord} folgt:

P \{X = k\} = \frac{|\{X = k\}|}{|Ω_{ord}|} = \frac{(K)_{k}(N − K)_{n−k}\binom{n}{k}}{(N)_{n}}

= ℋ_{N,K,n}{k}.

Das Herleitung der hypergeometrischen Verteilung mit Hilfe geordneter Stichproben ist zwar etwas aufwendiger. Sie bietet dafür einen anderen Vorteil: Man kann die hypergeometrisch verteilte Zufallsvariable X_{ord} als Summe von n gleichverteilten Bernoulli-Variablen schreiben. Diese Darstellung ist hilfreich bei der Berechnung des → Mittelwertes der hypergeometrischen Verteilung.

1.7.5 Bsp. N Kugeln bestehen wieder aus K schwarzen und N − K roten Kugeln.

1. Auf dem Raum Ω_{ord} der geordneten Stichproben ohne Wiederholung vom Umfang n aus den N Kugeln bilde man für (i = 1, …, n) die Zufallsvariablen

V_{i} : Ω_{ord} → {0, 1},
V_{i} : σ ↦ \begin{cases}1 & wenn σ_{i} schwarz, \\ 0 & wenn σ_{i} rot. \end{cases}

2. Die Zufallsvariable (→ Beispiel 1.7.1 Punkt 3)

X_{ord} := ∑_{i=1}^{n} V_{i}

gibt die Anzahl der schwarzen Kugeln in der geordneten Stichprobe an.

3. Wie man leicht sieht, ist jedes V_{i} einfach Bernoulliverteilt mit Erfolgswahrscheinlichkeit p := \frac{K}{N}. Dazu berechnen wir die Anzahl der Elemente von {V_{i} = 1}. Es gibt

K mögliche schwarze Kugeln, die man auf den i-ten Platz legen kann. (N − 1)_{n−1} Möglichkeiten die Kugeln für die restlichen n − 1 Plätze zu wählen.

Da Ω_{ord} mit Laplace-Wahrscheinlichkeit versehen ist, folgt

P \{V_{i} = 1\} = \frac{K(N − 1)_{n−1}}{(N)_{n}} = \frac{K}{N} .

Die V_{1}, …, V_{n} sind also gleichverteilte Bernoulli-Variable.

4. Da die Summe X hypergeometrisch und nicht binomialverteilt ist, beschreibt das Tupel (V_{1}, …, V_{n}) aber kein n-faches Bernoulli-Experiment.

Da die Stichprobe ohne zurücklegen gezogen wird, beeinflussen sich die Ergebnisse V_{i} gegenseitig. Z. Bsp. in dem Fall N = n = 2 und K = 1 kann man aus dem Wert von V_{1} auf den Wert von V_{2} schließen!

Um die im obigen Beispiel in Punkt 4 aufgetretene Problematik besser zu verstehen führen wir die → gemeinsame Verteilung und die → Marginalverteilung von Tupeln von Zufallsvariablen ein. Wir konstruieren noch ein weiteres Modell einer Zufallsvariablen mit hypergeometrischer Verteilung.

1.7.6 Bsp. Die N Kugeln bestehen wieder aus K schwarzen und N − K roten Kugeln.

Man realisiere eine geordnete Stichprobe vom Umfang n aus N nummerierten Kugeln, indem man die N Kugeln permutiert und dann die jeweils ersten n Stück auswählt. Der Grundraum

Ω_{perm} := {(σ_{1}, … σ_{N}) ∈ {1, …, n}^{N} | σ_{i} ≠ σ_{j} (i ≠ j)}

der Permutationen habe die Laplace-Wahrscheinlichkeit. Die Zufallsvariable

X_{perm} : Ω_{perm} → Ω

gibt die Anzahl der schwarzen Kugeln in (σ_{1}, …, σ_{n}) an.

Aufgabe: 1. Man zeige, daß X_{perm} die gleiche Verteilung hat, wie Zufallsvariable X_{ord} : Ω_{ord} → Ω (siehe Beispiel 1.7.1 Punkt 3). X_{perm} ist folglich hypergeometrisch Verteilt.

2. Man berechne direkt die Wahrscheinlichkeit von {W = k}.

1.7.7 Bsp. Man kann als Grundraum auch den Raum Ω_{sr} aller n-Tupel

ω := (ω_{1}, …, ω_{n}) ∈ {s, r}^{n}

von optisch nicht unterscheidbaren Kugeln nehmen, von denen höchstens K schwarz (= s) und höchstens N − K rot (= r) sind. Die Zufallsvariable

X_{sr} : Ω_{sr} → Ω ⊂ ℕ_{0}

gebe die Anzahl der schwarzen Kugeln in einem n-Tupel an. Um die Wahrscheinlichkeit eines n-Tupels ω ∈ Ω_{sr} zu bestimmen, nummeriere man K schwarze und N −K rote Kugeln, um sie unterscheidbar zu machen. D.h. man führe eine Zufallsvariable

W : Ω_{ord} → Ω_{sr}

ein, die diese Nummern wieder entfernt und versehe Ω_{sr} mit der Bildverteilung (P_{ord})_{W}. Da

X_{ord} = X_{sr} ∘ W

ist, hat X_{sr} die gleiche Verteilung wie X_{ord}, d.h. X_{sr} ist hypergeometrisch verteilt.

Aufgabe: Man zeige: Für ω ∈ Ω_{sr} ist

(P_{ord})_{W} \{ω\} = P_{ord}(W^{−1}\{ω\}) = \frac{(K)_{k}(N − K)_{n−k}}{(N)_{n}}

wobei k := X_{sr} die Anzahl der schwarzen Kugeln in ω ist. Man berechne nun direkt die Verteilung von X_{sr}.

1.8 Gemeinsame Verteilung von Z-Var.

1.8.1 Bez. (Gemeinsame Verteilung von Z-Var.) Es seien (Ω, P) ein endlicher W-Raum, M_{1}, M_{2}, …, M_{n} endliche Mengen und X_{ν} : Ω → M_{ν} Zufallsvariable. Man fasse die Zufallsvariablen X_{ν} zu einer Zufallsvariablen X mit Wertevorrat M := M_{1} × M_{2} × ⋯ × M_{n} zusammen:

X = (X_{1}, X_{2}, …, X_{n}) : Ω → M,
X : ω ↦ (X_{1}(ω), X_{2}(ω), …, X_{n}(ω)).

Die Verteilung P_{X} nennt man die gemeinsame Verteilung von X_{1}, X_{2}, …, X_{n}. Sie ist durch die W-Funktion

p_{X (x_{1},x_{2},...,x_{n})} = P {X = (x_{1}, x_{2}, …, x_{n})}

für (x_{1}, x_{2}, …, x_{n}) ∈ M eindeutig bestimmt.

Man kann dies auch als p_{X (x_{1},x_{2},...,x_{n})} = P {X_{1} = x_{1}, X_{2} = x_{2}, …, X_{n} = x_{n}} schreiben.

1.8.2 Bem. (Assoziativgesetz für gemeins. Vert.) Es seien (Ω, P) ein endlicher W-Raum, M_{1}, M_{2}, …, M_{n} endliche Mengen, X_{ν} : Ω → M_{ν} Zufallsvariable und X := (X_{1}, X_{2}, …, X_{n}). Für 1 = k_{0} < k_{1} < k_{2} ⋯ < k_{l} = n bilde man

Y_{λ} := (X_{k_{λ−1}}, ⋯, X_{k_{λ}−1}) für λ = 1, 2, …, l − 1,

Y_{l} = (X_{k_{l−1}}, …, X_{n}) und Y := (Y_{1}, Y_{2}, …, Y_{l}). Dann haben X und Y die gleiche gemeinsame Verteilung:

P_{X} = P_{Y} .

1.8.3 Bsp. (Indikatorvariable) 1. Ein Zufallexperiment werde durch den W-Raum (Ω, P) beschrieben. Für A ∈ 2^{Ω} ist die Indikatorvariable (charakteristische Funktion) 1l_{A} eine Zufallsvariable mit Werten in der Menge {0, 1}. Die Indikatorvariable 1l_{A} hat die W-Funktion

p := P {1l_{A} = 1} = P (A),
1 − p = P {1l_{A} = 0} = P (A^{c}).

Die Bildverteilung P_{1l_{A}} der Indikatorvariablen ist die einfache Bernoulli-Verteilung mit Parameter p := P (A) (→ Bezeichnung 1.5.1).

2. Man führe das Experiment n-mal ”unabhängig“ durch. Dies wird durch den W-Raum (Ω^{n}, P^{⊗n}) beschrieben. Für A ∈ 2^{Ω} sei

A_{ν} := {ω ∈ Ω^{n} | ω_{ν} ∈ A}

das Ereignis, daß im ν-ten Experiment A eintritt. Die Zufallsvariable

X := ∑_{ν=1}^{n} 1l_{A_{ν}} : Ω^{n} → {0, 1, 2, …, n}  (1.8.1)

gibt an, wie oft das Ereignis A bei den n-Versuchen eingetreten ist. Die gemeinsame Verteilung der Indikatorvariablen 1l_{A_{1}}, 1l_{A_{2}}, …, 1l_{A_{n}} ist die n-fache Bernoulli-Verteilung auf {0, 1}^{n}, denn es gilt (→ Bezeichnung 1.5.1 Gleichung (1.5.1)):

P^{⊗n}{1l_{A_{1}} = x_{1}, …, 1l_{A_{n}} = x_{n}} = p^{k}(1 − p)^{n−k},

wobei k = X(x_{1}, …, x_{n}) die Anzahl der Einsen in dem Tupel (x_{1}, …, x_{n}) ist.

Also ist die Verteilung P_{X} die Binomialverteilung mit den Parametern n und p = P (A) (→ Bezeichnung 1.5.2).

Anmerkung. Die in Gleichung 1.8.1 definierte Zufallsvariable hat also die gleiche Verteilung wie das in Bezeichnung 1.5.2 beschriebene Experiment. Dies ist ein gutes Beispiel für die in Bemerkung 1.6.5 erläuterte Verwendung von Zufallsvariablen.

1.8.4 Bez. (Marginalverteilung) Es seien Ω_{ν} Mengen und Ω := Ω_{1} × ⋯ × Ω_{n}. Wir bezeichnen die Projektion von Ω auf die ν-te Komponente, (ν = 1, …, n), mit

pr_{ν} : Ω → Ω_{ν}, pr_{ν} : (ω_{1}, ω_{2}, …, ω_{n}) ↦ ω_{ν}.

Man spricht auch kurz von den Koordinatenvariablen.

(i) Ist P ein W-Maß auf dem Produktraum, so heißen die Verteilungen der Projektionen pr_{ν} die eindimensionalen Randverteilungen oder Marginalverteilungen von P.

(ii) Ist I = {i_{1}, i_{2}, …, i_{k}} ⊂ {1, 2, …, n} eine kelementige Teilmenge, so nennt man die gemeinsame Verteilung von (pr_{i_{1}}, pr_{i_{2}}, …, pr_{i_{k}}) eine k-dimensionale Rand oder Marginalverteilung von P.

(iii) Ist P_{X} die gemeinsame Verteilung der Zufallsvariablen X = (X_{1}, X_{2}, …, X_{n}) und {i_{1} < ⋯ < i_{k}} ⊂ {1, …, n}, dann ist die entsprechende k-dimensionale Randverteilung von P_{X} die gemeinsame Verteilung von (X_{i_{1}}, X_{i_{2}}, …, X_{i_{k}}) (→ Feststellung 1.6.4). Daher heißt die gemeinsame Verteilung von (X_{i_{1}}, X_{i_{2}}, …, X_{i_{k}}) auch eine k-dimensionale Randverteilung der Zufallsvariablen X = (X_{1}, X_{2}, …, X_{n}).

Anmerkung. 1. Eine Verteilung P auf einem Produktraum Ω = {1, 2, …, m} × {1, 2, …, n} läßt sich als Matrix schreiben, wenn man die Werte P {(μ, ν)} wie eine Matrix anordnet. Die Randverteilung P_{pr_{1}} ist dann die Zeilensumme und P_{pr_{2}} die Spaltensumme.

2. I. a. ist P verschieden von dem Produkt seiner Marginalverteilungen. Bsp. Hier ein einfaches Beispiel für die obige Situation. Das Experiment ist das Werfen eines fairen Würfels. Also Ω := {1, 2, 3, 4, 5, 6} mit Laplace-Wahrscheinlichkeit. Die Zufallsvariablen seien gerade Augenzahl bzw Augenzahl mindestens vier:

X_{1} := 1l_{{2,3,6}} und X_{2} := 1l_{{4,5,6}}.

P_{X_{1}}, P_{X_{1}} ist jeweils die Bernoulli-Verteilung mit Parameter \frac{1}{2} :

P_{X_{ν}} (1) = P_{X_{ν}} (0) = \frac{1}{2} für ν = 1, 2.

Die Werte der gemeinsamen Verteilung geben wir als Matrix an und tragen auch die beiden Marginalverteilungen ein:

1 0 p_{X_{1}}

1  \frac{2}{6}  \frac{1}{6}  \frac{1}{2} 0  \frac{1}{6}  \frac{2}{6}  \frac{1}{2} p_{X_{2}}  \frac{1}{2}  \frac{1}{2} Für das Produkt der Randverteilungen gilt aber

(P_{X_{1}} ⊗ P_{X_{2}})\{(μ, ν)\} = \frac{1}{4} für μ.ν = 1, 2.

Gerd Wittstock, UdS, FR 6.1 Mathematik,  Elementare W-Theorie, SS 03  Version: 9. Juli 2003

1.8.5 Bsp. (Randverteilung der Multinomial-V.) Die Multinomialverteilung ℳ_{n;p_{1},...,p_{m}}) auf Ω_{m} = {0, 1, …, n}^{m} hat als i-te Randverteilung die Binomialverteilung ℬ_{n,p_{i}}. (→ Bemerkung 1.5.5) und Bezeichnung 1.5.2).

Wir leiten die Behauptung auf zwei Weisen her; der zweite Beweis folgt in Beispiel 1.8.9

Zur Abkürzung sei P := ℳ_{n;p_{1},...,p_{n}}(k_{1}, …, k_{m}). Mit Hilfe der Multinomialformel (→ Bezeichnung 1.2.14 Gleichung (1.2.1)) berechnen wir direkt aus der Definition der Multinomialverteilung den Wert

P \{pr_{m} = k\} = n!( ∑_{\begin{matrix}k_{1}+···+k_{m−1} \\ =n−k \end{matrix}} ∏_{μ=1}^{m−1} \frac{p_{μ}^{k_{μ}}}{k_{u}!} )\frac{p_{m}^{k}}{k!}

= (p_{1} + ⋯ p_{m−1})^{n−k} \frac{n!}{(n − k)!} \frac{p_{m}^{k}}{k!}

= \binom{n}{k}(1 − p_{m})^{n−k}p_{m}^{k} = ℬ_{n,p_{m}}\{k\}.

Aus der Symmetrie der Formel für die Multinomialverteilung folgt entsprechend P {pr_{i} = k} = ℬ_{n,p_{i}}{k} für i = 1, …, m.

1.8.6 Bez. Wir sagen, daß eine Abbildung f : Ω → M nur von der ν-ten Koordinate abhängt, wenn es eine Abbildung

f̃: Ω_{ν} → M gibt, so daß f = f̃∘ pr_{ν}

ist.

Man sagt hierfür auch, f läßt ich über pr_{ν} faktorisieren.

1.8.7 Satz (von je einer Koordinate abh. ZVn) Es seien (Ω_{ν}, P_{ν}), (ν = 1, …, n) endliche W-Räume und (Ω, P) := (Ω_{1} × ⋯ × Ω_{n}, P_{1} ⊗ ⋯ ⊗ P_{n}) der Produktraum. Für Zufallsvariable X_{ν}, (ν = 1, …,_{n}), die jeweils nur von der ν-ten Komponente abhängen, ist die gemeinsame Verteilung das Produkt der Verteilung der X_{ν}:

Für dieses X := (X_{1}, X_{2}, …, X_{n}) ist

P_{X} = P_{X_{1}} ⊗ P_{X_{2}} ⊗ ⋯ ⊗ P_{X_{n}}.

1.8.8 Bez. (Standardmodell für unabh. ZV.) Hat man n Zufallsexperimente, die durch die W-Räume (Ω_{1}, P_{1}), …, (Ω_{n}, P_{n}) beschrieben werden, so modelliert das Produktmaß P = P_{1} ⊗ ⋯ ⊗ P_{n} die gemeinsame Durchführung dieser Experimente ohne gegenseitige Beeinflussung. Hängen die Zufallsvariablen X_{ν},(ν = 1, …, n) jeweils nur vom Ausgang des ν-ten Experimente ab, haben sie keinen Einfluß aufeinander. Die Verteilung der Zufallsvariablen X := (X_{1}, …, X_{n}) beschreibt das Ergebnis von n Zufallsexperimenten, die sich gegenseitig nicht beeinflussen. D.h. das W-Maß P_{X} des Zufallsexperimentes X ist das Produkt der W-Maße P_{X_{ν}} der Einzelexperimente.

Der obige Satz 1.8.7 beschreibt einen wichtigen Spezialfall von unabhängigen Zufallsvariablen und ist zugleich das Standardmodell zur Konstruktion → unabhängiger Zufallsvariabler.

Wir verwenden die allgemeine Idee von Bezeichnung 1.8.8 für eine zweite Herleitung der Randverteilung der Multinomialverteilung (→ Beispiel 1.8.5). Wir wählen dazu ein n-Tupel X = (X_{1}, …, X_{m}) von Zufallsvariablen X : (Ω, P) → Ω_{m} die multinomial verteilt sind. Nach Bezeichnung 1.8.4 (iii) ist die i-te Randverteilung von P_{X} gleich P_{X_{i}}. Wir zeigen, daß P_{X_{i}} binomial verteilt ist.

1.8.9 Bsp. (Randverteilung der Multinomial-V.) Die Multinomialverteilung ℳ_{n;p_{1},...,p_{m}}) auf Ω_{m} = {0, 1, …, n}^{m} hat als i-te Randverteilung die Binomialverteilung ℬ_{n,p_{i}}. (→ Bemerkung 1.5.5) und Bezeichnung 1.5.2).

Dazu sei Ω = {ω_{1}, …, ω_{m}} ein Grundraum mit m Elementen und P das W-Maß mit P {ω_{i}} = p_{i} für i = 1, …, m. Man bilde das Produkt (Ω^{n}, P^{⊗n}) und für i = 1, …, m die Zufallsvariablen

X_{i} : Ω^{n} → {0, …, n}
X_{i} : (y_{1}, …, y_{n}) ↦ ∑_{j=1}^{n} 1l_{{ω_{i}}}(y_{j}).

X_{i} beschreibt, wie oft das Element ω_{i} unter den y_{1}, …, y_{n} vorkommt. Nach Bezeichnung 1.5.4 hat das m-Tupel X = (X_{1}, …, X_{m}) die Verteilung ℳ_{n;p_{1},...,p_{m}}.

Nach Konstruktion ist die Zufallsvariable

Y_{j} : (x_{1}, …, x_{n}) ↦ 1l_{{ω_{i}}}(x_{j})

einfach Bernouli-verteilt mit Erfolgswahrscheinlichkeit p_{i} und hängt nur von der j-ten Komponente ab. Nach Satz 1.8.7 ist das n-Tupel Y = (Y_{1}, …, Y_{n}) n-fach Bernoulli-verteilt mit dem Parameter p_{i} und folglich (→ Bezeichnung 1.5.1 (4)) ist die Summe

X_{i} := ∑_{j=1}^{n} Y_{j}

binomialverteilt mit den Parametern n und p_{i}.

1.9 Unabhängige Zufallsvariable

1.9.1 Ziel (Unabhängigkeit von Zufallsvar.) Man hat ein Zufallsexperiment E mit dem W-Raum (Ω, P) und n Zufallsvariable X_{ν} : Ω → M_{ν}, (ν = 1, …, n). Wir führen nun die folgenden beiden Experimente durch:

• Wir führen das Experiment E n-mal so durch, daß sich die einzelnen Durchführungen nicht beeinflussen und beobachten der Reihe nach die Elementarereignise ω_{1}, …, ω_{n}. Bei der ersten Durchführung notieren den Wert X_{1}(ω_{1}), bei der zweiten Durchführung X_{2}(ω_{2}) und beim n-ten mal den Wert X_{n}(ω_{n}). Nach Satz 1.8.7 ist die Verteilung der so gebildeten Zufallsvariablen

(ω_{1}, …, ω_{n}) ↦ (X_{1}(ω_{1}), …, X_{n}(ω_{n}))

das Produkt P_{X_{1}} ⊗⋯ P_{X_{n}} der Verteilung der Komponenten.

• Wir führen das Experiment E durch. Wenn das Ergebnis ω ∈ Ω ist, so notieren wir das n-Tupel X(ω) := (X_{1}(ω), …, X_{n}(ω)).

Wir nennen die Zufallsvariablen X_{1}, …, X_{n} unabhängig, wenn sich bei der zweiten Versuchsanordnung dieselbe gemeinsame Verteilung ergibt wir bei der ersten Versuchsanordnung, d.h.

P_{X} = P_{X_{1}} ⊗ ⋯ ⊗ P_{X_{n}}

Bsp. Hier ein einfaches Beispiel für die obige Situation. Das Experiment ist das Werfen eines fairen Würfels. Also Ω := {1, 2, 3, 4, 5, 6} mit Laplace-Wahrscheinlichkeit. Die Zufallsvariablen seien gerade Augenzahl bzw Augenzahl durch drei teilbar:

X_{1} := 1l_{{2,4,6}} und X_{2} := 1l_{{3,6}}.

P_{X_{1}} ist die Bernoulli-Verteilung mit Parameter \frac{1}{2} :

P_{X_{1}}(1) = P_{X_{1}}(0) = \frac{1}{2} .

P_{X_{2}} ist die Bernoulli-Verteilung mit Parameter \frac{1}{3} :

P_{X_{2}}(1) = \frac{1}{3} , P_{X_{2}}(0) = \frac{2}{3} .

Die Werte der gemeinsamen Verteilung geben wir als Matrix an und tragen die Marginalverteilungen P_{X_{1}} und P_{X_{2}} ein:

1 0 P_{X_{1}}
1  \frac{1}{6}  \frac{2}{6}  \frac{1}{2}
0  \frac{1}{6}  \frac{2}{6}  \frac{1}{2}
P_{X_{2}}  \frac{1}{3}  \frac{2}{3}

Man prüft leicht nach, daß das Produkt P_{X_{1}} ⊗P_{X_{2}} dieselbe Tabelle ergibt.

Nach Feststellung 1.10.2 (b) reicht es in diesem Fall, die folgende Beziehung zu prüfen:

\frac{1}{2} · \frac{1}{3} = P (X_{1} = 1)P (X_{2} = 1)

=^{!} P (X_{1} = 1, X_{2} = 1) = P (\{6\}) = \frac{1}{6} .

Die restlichen Werte der Tabelle folgen hieraus.

1.9.2 Def. (Unabhängigkeit von Zufallsvar.) Es seien (Ω, P) ein endlicher W-Raum, M_{ν} endliche Mengen und X_{ν} : Ω → M_{ν}, (ν = 1, 2, …, n), Zufallsvariable.

Das Tupel X := (X_{1}, X_{2}, …, X_{n}) heißt unabhängig wenn die gemeinsame Verteilung P_{X} gleich dem Produkt der Verteilungen P_{X_{1}}, P_{X_{2}}, … P_{X_{n}} ist:

P_{X} = P_{X_{1}} ⊗ P_{X_{2}} ⊗ ⋯ ⊗ P_{X_{n}}.

Anmerkung. Zur Betonung oder Unterscheidung sagt man auch stochastisch unabhängig.

Sind die Zufallsvariablen X_{1}, …, X_{n} nicht unabhängig, so heißen sie (stochastisch) abhängig.

1.9.3 Satz (Unabhängigkeit von Zufallsvar.) Es seien (Ω, P) ein endlicher W-Raum, M_{ν} endliche Mengen und X_{ν} : Ω → M_{ν}, (ν = 1, 2, …, n), Zufallsvariable. Die folgenden Aussagen sind äquivalent:

(a) Die Familie X := (X_{1}, X_{2}, …, X_{n}) ist unabhängig.

(b) Für beliebige B_{ν} ∈ M_{ν}, (ν = 1, 2, … n) gilt:

P {X ∈ B_{1} × B_{2} × ⋯ × B_{n}} = P {X_{1} ∈ B_{1}} · P {X_{2} ∈ B_{2}} ⋯ P {X_{n} ∈ B_{n}}.

Man kann die Bedingung auch in der Form

\begin{matrix}P \{X_{1} ∈ B_{1}, X_{2} ∈ B_{2}, …, X_{n} ∈ B_{n}\} \\ = P \{X_{1} ∈ B_{1}\} · P \{X_{2} ∈ B_{2}\} ⋯ P \{X_{n} ∈ B_{n}\}. \end{matrix}

schreiben.

(c) Für (x_{1}, …, x_{n}) ∈ M_{1} × ⋯ × M_{n} gilt

\begin{matrix}P \{X = (x_{1}, …, x_{n})\} \\ = P \{X_{1} = x_{1}\} · P \{X_{2} = x_{2}\} ⋯ P \{X_{n} = x_{n}\}. \end{matrix}

(d) Die Wahrscheinlichkeitsfunktion p_{X} der gemeinsamen Verteilung von X := (X_{1}, X_{2}, …, X_{n}) hat Produktgestalt: d.h. es gibt Funktionen p_{ν} : M_{ν} → [0, 1] derart, daß

p_{X}(x_{1}, …, x_{n}) = p_{1}(x_{1}) ⋯ p_{n}(x_{n})

für (x_{1}, …, x_{n}) ∈ M_{1} × … M_{n} gilt.

Anmerkung. In der Literatur wird häufig Satz 1.9.3 als Definition für die Unabhängigkeit von Zufallsvariablen gwählt und später die Äquivalenz zu Definition 1.9.2 gezeigt.

1.9.4 Bem. Es seien X_{ν} : (Ω, P) → M_{ν}, (ν = 1, 2, …, n) unabhängige Zufallsvariable.

(i) Ist σ eine Permutation von {1, 2, …, n} so sind auch X_{σ_{1}}, X_{σ_{2}}, …, X_{σ_{n}} unabhängig.

Man kann also auch von einer Familie (X_{i})_{i∈I} von unabhängigen Zufallsvariablen sprechen, wenn I eine endliche Indexmenge ist.

(ii) Ist I ⊂ {1, 2 …, n} eine Indexmenge, so ist die Teilfamilie (X_{i})_{i∈I} ebenfalls unabhängig.

(iii) Für eine disjunkte Zerlegung I_{1} ˙∪ … ˙∪I_{k} = {1, 2, …, n} bilde man die Zufallsvariablen Y_{κ} := (X_{i})_{i∈I_{1}} (κ = 1, …, k). Dann sind Y_{1}, Y_{2}…. , Y_{k} unabhängig 1.9.5 Satz (Funktionen unabhängiger ZV.) Es seien X_{ν} : (Ω, P) → M_{ν}, (ν = 1, 2, …, n) unabhängige Zufallsvariable. Ferner sei {1, 2, …, n} die disjunkte Vereinigung von Indexmengen I_{1}, I_{2}, …, I_{k} und

f_{κ} : ∏_{i∈I_{κ}} M_{i} → N_{κ} für κ = 1, 2, …, k

Abbildungen in endliche Mengen N_{κ}. Man bilde die Zufallsvariablen

Z_{κ} := f_{κ} ∘ (X_{i})_{i∈I_{κ}} für κ = 1, 2, …, k.

Dann sind Z_{1}, Z_{2}, …, Z_{n} unabhängig.

Speziell gilt: Sind die Zufallsvariablen X_{ν} : (Ω, P) → M_{ν}, (ν = 1, 2, …, n) unabhängig, und sind f_{ν} : M_{ν} → N_{ν} beliebige Abbildungen, N_{ν} endlich, so sind die Zufallsvariablen

Z_{ν} := f_{ν} ∘ X_{ν} (ν = 1, 2, …, n)

unabhängig.

Anmerkung. (i) Satz 1.9.5 gilt nicht mehr, wenn die I_{i} nicht disjunkt sind.

(ii) Auch ist für eine unabhängige n-Tupel reeller Zufallsvariabler X := (X_{1}, X_{2}, …, X_{n}) und eine invertierbare n × n-Matrix A ist das n-Tupel AX i. a. nicht unabhängig.

beginbsp Zzweimaliger fairer Münzwurf. Es seien pr_{1}, pr_{2} : {0, 1}^{2} → {0, 1} die beiden Ergebnisse. pr_{1}, pr_{2} sind unabhängige Zufallsvariable. Dagegen sind die Zufallsvariablen

X_{1} := pr_{1} + pr_{2} und X_{2} := pr_{1} − pr_{2}

nicht unabhängig. So folgt aus X_{1} = 2, daß X_{1} = 0 ist oder aus X_{2} = ±1 folgt X_{1} = 1. Andererseits sind

pr_{1} = \frac{1}{2} (X_{1} + X_{2}) und pr_{2} = \frac{1}{2} (X_{1} − X_{2})

unabhängig, obwohl X_{1}, X_{2} abhängig sind.

1.10 Unabhängige Ereignisse

1.10.1 Bez. (Unabh. Ereignisse) Endlich viele Ereignisse A_{1}, …, A_{n} eines W-Raumes (Ω, P) heißen (stochastisch) unabhängig, wenn die Indikatorfunktionen 1l_{A_{1}}, …, 1l_{A_{n}} unabhängig sind.

1.10.2 Festst. (unabhängige Ereignisse) Für die Unabhängigkeit der Ereignisse A_{1}, A_{2}, …, A_{n} reicht es, eine der folgenden einfacheren Bedingungen (b) oder (c) nachzuprüfen.

Die folgenden Bedingungen sind äquivalent:

(a) A_{1}, A_{2}, …, A_{n} ∈ 2^{Ω} sind unabhängig.

(b) für jede nichtleere Teilmenge I ⊂ {1, 2, …, n} gilt:

P ( ⋂_{i∈I}A_{i}) = ∏_{i∈I} P (A_{i}).

(c) Für jede nichtleere Teilmenge I ⊂ {1, 2, …, n} gilt

P ( ⋂_{i∈I} A_{i} ∩ ⋂_{j∈I^{c}}A_{j}^{c}) = ∏_{i∈I} P (A_{i}) · ∏_{j∈I^{c}} P (A_{j}^{c}).

Damit eine Familie A_{1}, …, A_{n} unabhängig ist, muß man in Feststellung 1.10.2 die Produktformel (b) bzw. (c) für alle Teilfamilien I prüfen.

1.10.3 Bsp. Eine faire Münze wird dreimal geworfen. Der Ergebnisraum ist {0, 1}^{3} mit Laplace-Wahrscheinlichkeit.

A_{1} := {(ω_{1}, ω_{2}, ω_{3}) | ω_{1} + ω_{2} + ω_{3} ≥ 2}
A_{2} := {(ω_{1}, ω_{2}, ω_{3}) | ω_{1} = 1}
A_{3} := {(ω_{1}, ω_{2}, ω_{3}) | ω_{2} = ω_{3}}

Es ist P (A_{i}) = \frac{1}{2} für i = 1, 2, 3 und

P (A_{1} ∩ A_{2} ∩ A_{3}) = P \{(1, 1, 1)\} = \frac{1}{8},

aber

P (A_{1} ∩ A_{2}) = P {(1, 1, 1), (1, 1, 0), (1, 0, 1)}
= \frac{3}{8} ≠ P (A_{1})P (A_{2}).

Anmerkung. (unvereinbare Ereignisse sind abhängig) 1. Wir nennen Ereignisse A_{1}, …, A_{n} unvereinbar, wenn

⋂_{i=1}^{n} A_{i} = ∅ und mindestens ein P (A_{i}) ≠ 0. Unvereinbare Ereignis-

se sind abhängig und nicht etwa unabhängig!

2. Der Begriff der paarweisen Unabhängigkeit ist nicht weiter wichtig. Im folgende Beispiel werden drei paarweise unabhängige Ereignisse konstruiert, die zusammen unvereinbar sind.

1.10.4 Bem. (△ ! paarweise unabh. Ereignisse) Für n ≥ 3 können Ereignisse A_{1}, …, A_{n} auch dann abhängig sein, wenn je zwei der Ereignisse unabhängig sind (sogenannte paarweise Unabhängigkeit) Beispiel: Fairer Würfel wird zweimal unabhängig voneinander geworfen. D.h. Ω := {1, …, 6}^{2} mit Laplace-Wahrscheinlichkeit.

A_{1} := {(x_{1}, x_{2}) | x_{1} gerade}
A_{2} := {(x_{1}, x_{2}) | x_{2} gerade}
A_{3} := {(x_{1}, x_{2}) | x_{1} + x_{2} ungerade}

Es ist

P (A_{i}) = \frac{1}{2} für i = 1, 2, 3
P (A_{i} ∩ A_{j}) = \frac{1}{4} für i, j = 1, 2, 3, i ≠ j.

Die Ereignisse sind also paarweise stochastisch unabhängig. Sie sind aber nicht unabhängig, da

P (A_{1} ∩ A_{2} ∩ A_{3}) = P (∅) = 0

ist.

Anmerkung. Dass Beispiel der Ereignisse A_{1} und A_{3} zeigt noch folgendes: Zwei Ereignisse können sehrwohl stochastisch unabhängig sein, obwohl eins mitbestimmt, ob das andere eintritt (→ Bedingte Wahrscheinlichkeit)

Aus Satz 1.9.5 und den Regeln aus Bemerkung 1.3.1 ergibt sich das folgende Resultat:

1.10.5 Satz (Rechenreglen: unabh. Ereignisse) Es seien A_{1}, …, A_{n} unabhängige Ereignisse. Für eine Zerlegung I_{1} ˙∪ … ˙∪I_{k} = {1, 2, …, n} bilde man mittels mengentheoretischer Operationen (Durchschnitt, Vereinigung, Komplement) aus den Familien {A_{i} | i ∈ I_{κ}}, (κ = 1, … k) neue Mengen B_{I_{1}}, …, B_{I_{k}}.

Dann sind auch B_{I_{1}}, …, B_{I_{k}} unabhängig.

Beispiel: Sind A, B, C, D, E, F unabhängig, so sind auch A ∩ B, C ∪ (D \ E), F^{c} unabhängig.

1.11 Bedingte Wahrscheinlichkeit

1.11.1 Bsp. Beim Wurf mit einem fairen Würfel ist unter der Annahme, daß eine gerade Augenzahl gewürfelt wurde, anschaulich klar, daß

die Wahrscheinlichkeit von {1, 3, 5} gleich 0 , die Wahrscheinlichkeit von {2, 4, 6} gleich 1

ist, und daß {2}, {4}, {6} die gleiche Wahrscheinlichkeit haben. Also ist, unter der obigen Annahme, die Wahrscheinlichkeit von \{2\} gleich \frac{1}{3} u.s.w.

Wir wollen die intuitive Wahl der Wahrscheinlichkeiten im obigen Beispiel 1.11.1 mit Überlegungen zur relativen Häufigkeit in einer langen Folge von Experimenten untermauern. Wir lösen uns für diese Diskussion vom konkreten Beispiel des Würfelns.

1.11.2 Ziel (Häufigkeit bei bedingten Exprmtn.) Das folgende Überlegung beruht auf Plausibilität, sie ist so nicht mathematisch beweisbar, sondern dient als Motivation für die anschließende Definition 1.11.3

Ein Zufallsexperiment E wird mit einem W-Raum (Ω, P) modelliert. Wir betrachten zwei Ereignisse A, B ∈ 2^{Ω} mit A ⊂ B und nehmen an, daß in einer Serie von Zufallsexperimenten, die sich gegenseitig nicht beeinflussen, für hinreichend großes n die relative Häufigkeiten R_{n}(A) ≈ P (A) bzw. R_{n}(B) ≈ P (B) seien. Weiterhin sei P (B) > 0.

Eine Serie von Zufallsexperimenten ergebe die Beobachtungen x_{1}, x_{2}, …, x_{N}. Aus diesen wähle man die Teilserie derjenigen Beobachtungen aus, die in B liegen:

x̃_{1}, …, x̃_{m} ∈ B.

Für großes N werden die die relativen Häufigkeiten R_{N}(B) = \frac{m}{N} sehr dicht an P (B) > 0 liegen. Auch wird R_{N}(A) ≈ P (A) sein.

Die relative Häufigkeit für das Ereignis A in der ausgewählten Teilserie ist

R̃_{m}(A) = \frac{1}{m} ∑_{μ=1}^{m} 1l_{A}(x̃_{μ}) = \frac{N}{m} \frac{1}{N} ∑_{ν=1}^{N} 1l_{A}(x_{ν})

= \frac{R_{N}(A)}{R_{N}(B)} ≈ \frac{P (A)}{P (B)}.

1.11.3 Def. (Bedingte Wahrscheinlichkeit) Es seien (Ω, P) ein endlicher W-Raum und B ∈ 2^{Ω} mit P (B) > 0.

(i) Man definiert ein W-Maß P ( . |B) auf 2^{B} durch die Vorschrift

P (A|B) := \frac{P (A)}{P (B)} für A ∈ 2^{B}.

P (A|B) heißt die bedingte Wahrscheinlichkeit von A gegeben B.

(ii) Oft ist es zweckmäßig, die bedingte Wahrscheinlichkeit als W-Maß auf dem ursprünglichen Grundraum Ω aufzufassen. Man setzt dann

P (C|B) := P (C ∩ B|B) für C ∈ 2^{Ω}.

Streng genommen handelt es sich hierbei um das Bild des W-Maßes P ( . |B) unter der Zufallsvariablen ι : B → Ω, wobei ι die Einbettung der Teilmenge B in Ω ist. Man identifiziert in diesem Fall das W-Maß P ( . |B mit seinem Bildmaß unter ι.

(iii) Man definiert praktischer Weise die bedingte Wahrscheinlichkeit auch im Fall P (B) = 0 und setzt P (C|B) = 0. Auf diese Weise erreicht man, daß die folgenden Formeln auch in diesem Fall sinnvoll bleiben. Natürlich ist in diesem Fall P ( . |B) ≡ 0 kein W-Maß.

Anmerkung. Man kann die Definition 1.11.3 auch etwas simpler auffassen: Für ein B ∈ 2^{Ω} ist die Einschränkung P |2^{B} ein Maß auf B. Wenn P (B) > 0 ist, kann man die Einschränkung normieren, so daß man ein W-Maß erhält. Man bezeichnet

P ( . |B) := \frac{1}{P (B)} P |2^{B}.

(B, P ( . |B)) entspricht der Bildung eines Unterraumes bei anderen mathematischen Strukturen. Die dann anschließende Frage, wie man einen W-Raum aus ”disjunkten“ Unteräumen rekonstruiert, findet für endliche W-Räume eine ganz einfache Antwort (→ Abschnitt 1.12)

1.11.4 Bsp. Der Spielleiter wirft verdeckt zwei faire Würfel und verkündet ”Augensumme ist ≥ 8“. Frage: Wie groß ist die bedingte Wahrscheinlichkeit, daß mindestens eine 6 geworfen wurde?

Antwort: Unter der Voraussetzung, daß der Spielleiter vorher festgelegt hatte, daß er nur eine der Informationen ”Augensumme < 8 oder ≥ 8” bekanntgegeben wird, ist die bedingte Wahrscheinlichkeit für mindestens eine 6 unter den Augen \frac{3}{5}.

Da die Spielregel vorher bekannt ist, kann man aus der Angabe des Spielleiters keine weiteren Informationen ziehen. Was anderes wäre es, wenn der Spielleiter auch statt der 8 eine andere mögliche Zahl wählen dürfte!

Der Grundraum ist {1, …, 6}^{2} mit Laplace-Wahrscheinlichkeit. Es gibt die Ereignisse

A_{6} := {(1, 6), …, (6, 6), (6, 5), …, (6, 1)},

B_{8} := \{ \begin{matrix}. & . & . & . & (2, 6) \\ . & . & . & (3, 5) & (3, 6) \\ . & . & (4, 4) & (4, 5) & (4, 6) \\ . & (5, 3) & (5, 4) & (5, 5) & (5, 6) \\ (6, 2) & (6, 3) & (6, 4) & (6, 5) & (6, 6) \end{matrix} \}

Offensichtlich ist |B_{8}| = 15 und |A_{6} ∩ B_{8}| = 9 und somit

P (A_{6} | B_{8}) = \frac{9}{36}/\frac{15}{36} = \frac{3}{5}.

1.11.5 Bsp. Eine Urne enthalte K schwarze und N −K rote Kugeln. Vom Spielleiter werden zunächst zufällig aber verdeckt m Kugeln entnommen und nichts über deren Farben mitgeteilt. Dann werden öffentlich n Kugeln gezogen, wobei natürlich n ≤ N − m ist.

Was ist die Wahrscheinlichkeit, daß unter den n öffentlich gezogen Kugeln k Stück schwarz sind.

Antwort. Die Anzahl der schwarzen Kugeln unter den n öffentlich gezogenen Kugeln ist hypergeometrisch verteilt mit den Parametern N, K, n. Die Wahrscheinlichkeit für k schwarze Kugeln ist

ℋ_{N,K,n}\{k\} = \begin{matrix}\binom{K}{k} & \binom{N−K}{n−k} \\ ( & {N \atop n} & ) \end{matrix}

Die vorhergehende verdeckte Entnahme von m Kugeln hat keinen Einflüs auf die Wahrscheinlichkeitsverteilung der nachfolgenden n Kugeln.

Ein schnelles Argument hierfür ist: Die Wahrscheinlichkeit einer geordneten Stichprobe, in der zuerst m Kugeln kommen und dann eine Anordnung von n Kugeln, von denen k schwarz sind, hat die gleiche Wahrscheinlichkeit wie eine Stichprobe, in der die besagten n Kugeln vor den m Kugeln kommen.

Man kann den Vorgang auch als m + n-stufiges Zufallsexperiment modellieren und die (bedingte) Wahrscheinlichkeit dafür berechnen, daß k schwarze Kugeln gezogen werden, wenn zuvor irgendwelche m Kugeln gezogen wurden (→ Abschnitt 1.13 Mehrstufige Experimente).

1.11.6 Satz (von der totalen Wahrscheinlichkeit) Es seien (Ω, P) ein endlicher W-Raum und

Ω = B_{1} ∪^{.} … ∪^{.} B_{n}

eine Zerlegung von Ω in disjunkte Teilmengen B_{ν} ∈ 2^{Ω}.

(i) Dann gilt die Formel von der totalen Wahrscheinlichkeit

P (A) = ∑_{ν=1}^{n} P (A|B_{ν}) · P (B_{ν}) für A ∈ 2^{Ω}.

(ii) Im Fall P (A) > 0 gilt für k = 1, …, n die Formel von Bayes:

P (B_{k}|A) = \frac{P (A|B_{k}) · P (B_{k})}{∑_{ν=1}^{n} P (A|B_{ν}) · P (B_{ν})},  (1.11.1)

Anmerkung. 1. Die Formel von Bayes folgt aus der Formel (i) von der totalen Wahrscheinlichkeit und der Beziehung

P (B_{k}|A) = \frac{P (B_{k} ∩ A)}{P (A)} = \frac{P (A|B_{k})P (B_{k})}{P (A)}

2. Ein Spezialfall von Satz 1.11.6 (i) ist die Formel

P (A) = P (A|B)P (B) + P (A|B^{c})P (B^{c}).

D.h. die Wahrscheinlichkeit von A ergibt sich aus den Wahrscheinlichkeiten P (B), P (B^{C}) und den bedingten Wahrscheinlichkeiten P (A|B), P (A|B^{c}).

Man beachte die Konvention: P (B) = 0 ⇒ P (A|B) = 0.

3. Genauso erhält man als Spezialfall von Satz 1.11.6 (ii) die Formel

P (B|A) = \frac{P (A|B)P (B)}{P (A|B)P (B) + P (A|B^{c})P (B^{c})} .

1.11.7 Bsp. Eine Person wird ohne besonderen Verdacht auf HIV getestet, etwa anläßlich einer Operation. Überraschend fällt der Test positiv aus. Wie ist das Ergebnis zu bewerten?

Die derzeit üblichen Tests (Stand 2001) erkennen Erkrankte mit einer Wahrscheinlichkeit von 0, 998 und liefern für Gesunde mit einer Wahrscheinlichkeit von 0, 99 ein negatives Resultat. Es gibt in Deutschland ca. 50.000 Erkrankte bei 80 · 10^{6} Einwohnern. Es bezeichne

K Ereignis, daß irgend eine Person an HIV erkrankt ist, T_{pos} Ereignis, daß irgendeine Person positiv getestet wird.

Geht man also aus, daß die Person einem durchschnittlichen Erkrankungsrisiko unterliegt, so gilt

P (K) = \frac{50.000}{80 · 10^{6}} ≈ 6.25 · 10^{−4}.

Bekannt sind die bedingten Wahrscheinlichkeiten

P (T_{pos} | K) = 0, 998
P (T_{pos} | K^{c}) = 1 − 0.99 = 0, 01.

Also ist

P (K|T_{pos}) = \frac{P (T_{pos}|K)P (K)}{P (T_{pos}|K)P (K) + P (T_{pos}|K^{c})P (K^{c})}

= \frac{0, 998 · 6.25 · 10^{−4}}{0, 998 · 6.25 · 10^{−4} + 0, 01 · (1 − 6.25 · 10^{−4})}

≈ 0, 06.

Die Wahrscheinlichkeit, daß die Person tatsächlich erkrankt ist, wenn sie positiv getestet wurde, beträgt 6%. Gehört die Person dagegen zu einer Risikogruppe A mit P (K_{A}) = 0, 01 so ist die bedingte Wahrscheinlichkeit, daß diese Person tatsächlich krank ist

P (K_{A}|T_{pos})

= \frac{P (T_{pos}|K_{A})P (K_{A})}{P (T_{pos}|K_{A})P (K_{A}) + P (T_{pos}|K_{A}^{c})P (K_{A}^{c})}

= \frac{0, 998 · 0, 01}{0, 998 · 0, 01 + 0, 01 · 0.99} ≈ 50%.

Das Beispiel zeigt, daß ein allgemeines Screening für seltene Krankheiten, das nicht auf Risikogruppen beschränkt ist, selbst bei Verwendung zuverlässiger Tests, von eingeschränkten Wert ist.

1.11.8 Satz (Multiplikationsformel) In einem endlichen W-Raum gilt für A_{1}, …, A_{n} ∈ 2^{Ω}

P ( ⋂_{ν=1}^{n}A_{ν}) = P (A_{1}) · ∏_{ν=2}^{n} P (A_{ν}| ⋂_{μ=1}^{ν−1}A_{μ})

= P (A_{1}) · P (A_{2}|A_{1})P (A_{3}|A_{1} ∩ A_{2}) ⋯

⋯ P (A_{n}|A_{1} ∩ ⋯ A_{n−1}).

Bsp. (Geburtstagsproblem) Die Wahrscheinlichkeit, daß von n zufällig nacheinander ausgewählten Personen keine zwei am selben Tag Geburtstag haben, ist

\frac{(365)_{n}}{365^{n}} .

Dabei wurde das Jahr zu 365 Tagen ohne Schaltjahre gerechnet. Alle Tage treten mit gleicher Wahrscheinlichkeit als Geburtstage auf.

Der zugrunde liegende W-Raum ist also (Ω^{n}, P^{⊗n}), wobei Ω = {1, …, 365} und P die Laplace-Wahrscheinlichkeit auf Ω ist. Man setze A_{k} das Ereignis, daß die (k + 1)-te Person an einem anderen Tag Geburtstag hat, als die davor gewählten und wende Satz 1.11.8 an.

Anderes Model, daß zur gleichen Lösung führt: Wahrscheinlichkeit, daß eine geordnete Stichprobe mit Wiederholung vom Umfang n aus der Menge {1, … }365 keine zwei gleichen Elemente entält.

1.11.9 Bem. (bed. Wahrsch. und Unabhängigkeit) Gegeben seien zwei Ereignisse A, B eines W-Raumes (Ω, P) und es sei P (B) > 0.

A, B sind dann und nur dann unabhängig, wenn P (A|B) = P (A) gilt.

1.12 Zusammengesetzte W-Maße

1.12.1 Satz (zusammengesetzte W-Maße) Es sei (Ω_{0}, P_{0}) = {ω_{01}, …, ω_{0n}} ein W-Raum mit n Elementen und dem W-Maß P_{0}. Weiterhin seien (Ω_{11}, P_{11}), …, (Ω_{1n}, P_{1n}) endliche W-Räume und

Ω := Ω_{11} ∪^{.} … ∪^{.} Ω_{1n}

die disjunkte Vereinigung der Ω_{11}, …, Ω_{1n}.

Oder anders ausgedrückt: Ω hat eine Zerlegung in n paarweise disjunkte Mengen Ω_{11}, …, Ω_{1n} ∈ 2^{Ω}.

Zur Abkürzung setze man p_{0ν} := P_{0}{ω_{0ν}}.

Dann gibt es genau ein W-Maß P auf Ω derart, daß für ν = 1, …, n gilt:

P (Ω_{1ν}) = p_{0ν},  (1.12.1)

und falls p_{0ν} > 0 ist:

P (A|Ω_{1,ν}) = P_{1ν}(A ∩ Ω_{1,ν}) für A ∈ 2^{Ω}. (1.12.2)

Beachte: Wenn P (Ω_{1ν}) = p_{0ν} = 0 ist, so ist definitionsgemäß P (A|Ω_{1,ν}) = 0.

Anmerkung. (Zusammengesetzte W-Maße) 1. Aus der Formel von der totalen Wahrscheinlichkeit (→ Satz 1.11.6 (i)) und den Eigenschaften (1.12.1) und (1.12.2) folgt für das zusammengesetzte W-Maß P die Formel:

P (A) = ∑_{ν=1}^{n} p_{0ν}P_{ν}(A ∩ Ω_{1ν}) für A ∈ 2^{Ω}.  (1.12.3)

Dadurch ist P eindeutig bestimmt.

2. Zum Beweis der Existenz definiert man P durch die Formel (1.12.3) und prüft nach, daß diese Funktion P ein W-Maß mit den Eigenschaften (1.12.1) und (1.12.2) ist.

3. Speziell folgt aus Gleichung (1.12.2) die Produktformel

P (A) = p_{0ν}P_{1ν}(A) für A ∈ 2^{Ω_{1ν}}.

4. Im Spezialfall, daß die Räume (Ω_{1ν}, P_{1ν}) alle gleich sind:

(Ω̃, P̃) := (Ω_{11}, P_{11}) = ⋯ = (Ω_{1n}, P_{1n})

kann man Ω mit Ω_{0} × Ω̃ folgendermaßen identifizieren: Für ω ∈ Ω_{1,ν} sei ω̃ das entsprechende Element in Ω̃. Dann ergibt die Zuordnung

ω ↦ (ω_{0ν}, ω̃)

eine Bijektion der disjunkten Vereinigung Ω := Ω_{11} ∪^{.} … ∪^{.} Ω_{1n} mit dem Produktraum Ω_{0} × Ω̃. Unter dieser Identifizierung ist das zusammengesetzte W-Maß P gerade das Produktmaß P_{0} ⊗ P̃.

Dies sieht man folgendermaßen: Für ω ∈ Ω_{1ν} folgt aus den Bedingungen (1.12.1) und (1.12.2), daß

P {ω} = P ({ω} | Ω_{1ν}) · P (Ω_{1ν}) = P_{1ν}{ω} · P_{0}{ω_{0ν}}
= P_{0} ⊗ P̃{(ω_{0ν}, ω̃)}

ist.

5. Auch sonst ist es oft vorteilhaft, die Elemente von Ω := Ω_{11} ∪^{.} … ∪^{.} Ω_{1n} etwas aufwendiger als Paare

(ω_{0ν}, ω) für ω ∈ Ω_{1ν}

zu schreiben. Man denke an gekoppelte Experimente, wenn das erste das Ergebnis ω_{0ν} ist, führe man das Experiment mit dem Ergebnisraum Ω_{1ν} aus. Man erhält nun die Gesamtbeobachtung (ω_{0ν}, ω) mit ω ∈ Ω_{1,ν}. Für die Wahrscheinlichkeit eines Elementarereignisses folgt aus Gleichung (1.12.2) die Pfadformel:

P {(ω_{0,ν}, ω)} = P_{0}{ω_{0ν}}P_{1ν}{ω}.  (1.12.4)

Wir benutzen diese Schreibweise in dem folgenden Beispiel:

1.12.2 Bsp. (zusammengesetzte W-Maße) 1. Wir haben drei Urnen, eine weiße Urne, eine schwarze und eine rote. Alle drei enthalten jeweils eine Anzahl von schwarzen Kugeln und roten Kugeln.

weiße Urne: drei schwarze, eine rote
schwarze Urne: vier schwarze, eine rote
rote Urne:  drei schwarze, zwei rote

Zuerst wird aus der weißen Urne eine Kugel gezogen. War diese schwarz, wird anschließend aus der schwarzen Urne eine Kugel gezogen, anderenfalls aus der roten Urne. Der Ereignisraum besteht also aus den Tupeln

Ω := {(s, s), (s, r), (r, s), (r, r)}

Gesucht ist das W-Maß P auf Ω, das die eingangs beschriebene Zugreihenfolge modelliert.

2. Wir bestimmen P mit Hilfe von Satz 1.12.1 über zusammengesetzte W-Maße, Bekannt sind die W-Räume:

(Ω_{0}, P_{0}): Ziehen einer Kugel aus der weißen Urne

p_{01} := P_{0}\{s\} = \frac{3}{4}, p_{02} := P_{0}\{r\} = \frac{1}{4};

(Ω_{11}, P_{11}): Ziehen einer Kugel aus der schwarzen Urne:

P_{11}\{s\} = \frac{4}{5}, P_{11}\{r\} = \frac{1}{5};

(Ω_{12}, P_{12}): Ziehen einer Kugel aus der roten Urne:

P_{12}\{s\} = \frac{3}{5}, P_{12}\{r\} = \frac{2}{5};

Wir können Ω als disjunkte Vereinigung von Ω_{11} und Ω_{12} auffassen, indem wir identifizieren:

Ω_{11} ≅ {(s, s), (s, r)}, Ω_{12} ≅ {(r, s), (r, r)}. (1.12.5)

Durch diese Bezeichnung unterscheiden wir eine schwarze Kugel (s, s) in der schwarzen Urne von einer schwarzen Kugel (r, s) in der roten Urne.

Die Elementarereignisse ω ∈ Ω haben die folgenden bedingten Wahrscheinlichkeiten P ({ω}|Ω_{1i}), (i = 1, 2), die wir in einer Tabelle eintragen:

\begin{matrix}ω & P (\{ω\}|Ω_{11}) & P (\{ω\}|Ω_{12}) \\ (s, s) & P_{11}\{(s, s)\} & 0 \\ (s, r) & P_{11}\{(s, r)\} & 0 \\ (r, s) & 0 & P_{12}\{(r, s)\} \\ (r, r) & 0 & P_{12}\{(r, r)\}. \end{matrix}  (1.12.6)

Durch passende Wahl und Addition dieser Werte berechnet man

P (A|Ω_{1i}) = P_{1i}(A ∩ Ω_{1i}) für A ∈ 2^{Ω} und i = 1, 2.

3. So erhält man für die Ereignisse

S := {zweite Kugel schwarz}
R := {zweite Kugel rot}

die bedingten Wahrscheinlichkeiten

P (S|Ω_{11}) = P_{11}{(s, s)}, P (R|Ω_{11}) = P_{11}{(s, r)},
P (S|Ω_{12}) = P_{12}{(r, s)}, P (R|Ω_{12}) = P_{12}{(r, r)}.

Mit der Formel (1.12.3) von der totalen Wahrscheinlichkeit folgt:

P (S) = p_{01}P (S|Ω_{11}) + p_{02}P (S|Ω_{12}) = \frac{3}{4} · \frac{4}{5} + \frac{1}{4} · \frac{3}{5} = \frac{3}{4},
P (R) = p_{01}P (R|Ω_{11}) + p_{02}P (R|Ω_{12}) = \frac{3}{4} · \frac{1}{5} + \frac{1}{4} · \frac{2}{5} = \frac{1}{4}.

4. Mit der Formel von Bayes (→ Satz 1.11.6 (ii)) erhält man die Antwort auf die folgende Frage: Wie groß ist die bedingte Wahrscheinlichkeit, daß wir aus der schwarzen bzw. der roten Urne gezogen haben, gegeben, daß die zweite Kugel schwarz ist:

P (Ω_{11} | S) = \frac{P (S | Ω_{11})P (Ω_{11})}{P (S)} = \frac{\frac{4}{5} · \frac{3}{4}}{\frac{3}{4}} = \frac{4}{5},

P (Ω_{12} | S) = \frac{P (S | Ω_{12})P (Ω_{12})}{P (S)} = \frac{\frac{3}{5} · \frac{1}{4}}{\frac{3}{4}} = \frac{1}{5},

Anmerkung. (a priori und a posteriori-Verteilung) P (Ω_{11} | S) ist die bedingte Wahrscheinlichkeit, daß beim ersten mal eine schwarze Kugel gezogen wurde gegeben, daß auch beim zweiten Zug eine schwarze Kugel gezogen wird. Genauso ist P (Ω_{12} | S) die bedingte Wahrscheinlichkeit, daß beim ersten mal eine rote Kugel gezogen wurde gegeben, daß beim zweiten Zug eine schwarze Kugel gezogen wird. Hierfür ist die folgende Sprechweise üblich:

Die Wahrscheinlichkeiten p_{01} = \frac{3}{4} und p_{01} = \frac{1}{4} für eine schwarze bzw. der rote Kugel beim ersten Zug nennt man die a priori Wahrscheinlichkeiten. Die Information, daß beim zweiten Zug die aus einer der beiden Urnen gezogene Kugel schwarz ist, verschiebt die apriori Wahrscheinlichkeiten zu den a posteriori Wahrscheinlichkeiten P (Ω_{11} | S) = \frac{4}{5} bzw. P (Ω_{12} | S) = \frac{1}{5} .

Für die schwarze Urne ist die a posteriori Wahrscheinlichkeit gegeben S größer als die a priori Wahrscheinlichkeit, da bei ihr das Verhältnis der schwarzen Kugeln zu den roten größer ist, als bei der roten Urne.

1.13 Mehrstufige Experimente

Oft wird ein mehrstufiges Zufallsexperiment durch einen Ereignisbaum beschrieben.

Ein Baum ist ein zusammenhängender gerichteter Graph, der zwischen je zwei Ecken genau eine Kante enthält. Wir machen von den folgenden einfachen Eigenschaften von Bäumen gebrauch:

– Es gibt genau einen Knoten, genannt Wurzel, mit Eingangsgrad 0, d.h. es führen keine Kanten hinein. Alle anderen Knoten haben den Eingangsgrad 1, d.h. es führt genau eine Kante hinein.

– Die Knoten mit Ausgangsgrad 0 – d.h. es führen keine Kanten hinaus – heißen die Endknoten des Baumes. Alle anderen Knoten heißen Verzweigungsknoten.

– Ein Pfad ist eine Folge von Kanten, so daß der Endknoten einer Kante der Anfangsknoten der nächsten ist.

In einem Baum gibt es zu jedem Knoten genau einen Pfad von der Wurzel zu diesem Knoten. Die Tiefe eines Knotens ist die Länge dieses Pfades.

– Die Zuordnung von Knoten zu ihren Pfaden ergibt eine Bijektion der Menge der Endknoten auf die Menge der maximalen Pfade des Baumes.

Ein Ereignisbaum dient dazu, auf der Menge der Endknoten oder gleichbedeutend der Menge der maximalen Pfade ein W-Maß mit geeigneten Eigenschaften zu konstruieren.

1.13.1 Bez. (Ereignisbaum) (i) Ausgehend von einem Knoten der 0-ten Stufe läuft je eine Kante, zu den die Ausgänge der 0-ten Stufe repräsentierenden Knoten, wobei jede Kante mit der entsprechenden Übergangswahrscheinlichkeit oder Eintrittswahrscheinlichkeit des entsprechenden Elementes der 0-ten Stufe versehen wird.

(ii) Jeder dieser Knoten der 1-ten Stufe ist entweder ein Endknoten oder von ihm laufen wieder Kanten zu Knoten 2-ter Stufe, die die Ausgänge der ersten Stufe beschreiben. Hier werden die Kanten mit der Übergangswahrscheinlichkeit oder Eintrittswahrscheinlichkeit für das Ergebnis in der ersten Stufe versehen; usw.

(iii) Die Übergangswahrscheinlichkeiten der Kanten, die von demselben Knoten ausgehen, müssen sich zu Eins addieren.

Anmerkung. In einem mehrstufigen Zufallsexperiment sind die Elementarereignisse die Endknoten (Blätter) oder gleichbedeutend die Pfade von der Wurzel zu den Endknoten.

In einer Aufgabenstellung ist zumeist die Wahrscheinlichkeitsverteilung auf den Endknoten gefragt. Die Umformulierung in die entsprechenden Pfade ermöglicht es, die gesuchten Wahrscheinlichkeiten stufenweise zu berechnen:

Es gilt die Pfadregel: Die Wahrscheinlichkeit eines Pfades ist das Produkt der Übergangswahrscheinlichkeiten seiner Kanten. Für den Fall eines zweistufigen Experiments siehe Gleichung (1.12.4) und allgemein Folgerung 1.13.4.

Wir veranschaulichen die Bezeichnung 1.13.1 mit folgenden Beispiel eines dreistufigen Ereignisbaumes:

1.13.2 Bsp. (Ereignisbaum) Aus einer Urne mit 2 schwarzen und 3 roten Kugeln werden 3 Kugeln ohne Zurücklegen gezogen. Dies ergibt den folgenden Ereignisbaum:

[figure: 0-te Stufe; s; r; s; r; s; r; r; s; r; s; r; s; r; \frac{2}{5}; \frac{3}{5}; \frac{1}{4}; \frac{3}{4}; \frac{1}{2}; \frac{1}{2}; 1; \frac{1}{3}; \frac{2}{3}; \frac{1}{3}; \frac{2}{3}; \frac{2}{3}; \frac{1}{3}; P; \frac{1}{10}; \frac{1}{10}; \frac{2}{10}; \frac{1}{10}; \frac{2}{10}; \frac{2}{10}; \frac{1}{10}; _{A, P (A)= \frac{4}{10}}; _{B, P (B)= \frac{3}{10}}]

Die Übergangswahrscheinlichkeit ist der jeweilige Anteil von schwarzen bzw. roten Kugeln in der Urne. Das Produkt dieser Anteile ergibt die Wahrscheinlichkeit einer Zugreihenfolge. In der untersten Zeile sind die Wahrscheinlichkeiten der Endknoten eingetragen.

Man beobachtet die folgenden Zudammenhänge: Für die angegebenen Teilmengen A, B ist

– die Wahrscheinlichkeit P (A) = \frac{2}{5} gleich der Übergangswahrscheinlichkeit der obersten linken Kante, die zu allen Endknoten der Menge A führt.

– die bedingte Wahrscheinlichkeit P (B|A) = \frac{3}{10} / \frac{4}{10} = \frac{3}{4} . Letzteres ist die Übergangswahrscheinlichkeit der Kante (s, r) (fett gezeichnet), entlang der sich die kleinere Menge B von der größeren Menge A abspaltet.

Die für A und B beobachteten Eigenschaften gelten für alle Teilmengen der Endknoten dieser Bauart und werden das W-Maß auf den Endknoten eindeutig charakterisieren (→ Satz 1.13.3).

Aufgabe. In dem Beispiel ist die Wahrscheinlichkeit der Pfade (s, s, r), (s, r, s), (r, s, s) immer gleich \frac{1}{10}. Man überlege sich, daß die Wahrscheinlichkeit eines Pfades nur von der Anzahl der schwarzen und roten Kugeln in dem Pfad und nicht von deren Reihenfolge abhängt.

Aufgabe. Aus einer Urne mit 2 schwarzen und 3 roten Kugeln werden Kugeln ohne zurücklegen gezogen. Man zeichne den Ereignisbaum für das folgende Experiment:

1. Es werden solange Kugeln entnommen, bis die zweite schwarze Kugel gezogen wurde.

2. Es werden solange Kugeln entnommen, bis die Urne leer ist.

Man berechne die Wahrscheinlichkeiten der einzelnen Pfade mit der Pfadregel. Wie groß ist in beiden Fällen die Wahrscheinlichkeit, daß in drei Zügen beide schwarzen Kugeln gezogen wurden? (→ Feststellung 1.13.5)

Der folgende Satz 1.13.3 besagt, daß es zu jedem Ereignisbaum, genau einen W-Maß auf den Raum der Pfade gibt, so daß die bedingte Wahrscheinlichkeit ”der Menge der Pfade, die durch eine eine Kante laufen“, gegeben ”die Menge der Pfade, die durch den Anfangspunkt der Kante laufen“, gerade die vorgegebene Übergangswahrscheinlichkeit dieser Kante ist.

1.13.3 Satz (Mehrstufige Experimente) Gegeben sei ein Ereignisbaum mit Wurzel a_{0}. Die Übergangswahrscheinlichkeiten der Kante mit Anfangspunkt a und Endpunkt b sei p(b|a). Die Übergangswahrscheinlichkeiten der Kanten, die von einem Knoten ausgehen addieren sich zu 1.

Es sei Ω der Raum der Endknoten. Für einen Knoten a sei Ω_{a} die Menge der Endknoten, deren Pfad vom Ursprung zu dem Endknoten über den Knoten a führt.

Es gibt genau eine W-Maß P auf Ω mit den folgenden beiden Eigenschaften:

(i) Für eine Knoten a erster Stufe ist

P (Ω_{a}) = p(a|a_{0}).

(ii) Für eine Kante (a, b) des Baumes ist

P (Ω_{b}|Ω_{a}) = p(b|a).

Beweisskizze. Für einen Ereignisbaum sei der Grundraum Ω die Menge der Endknoten. Zu jedem Endknoten gibt es genau einen Pfad von der Wurzel zu diesem Endknoten.

Der allgemeine Fall folgt aus dem ein- und zweistufigen Fall durch vollständige Induktion über die Länge l des längsten Pfades des Baumes zu einem Endknoten. Den Induktionsschritt ”l ⇒ l + 1“führen wir ab l = 2 durch. Zuvor behandeln wir die dabei benötigten Fälle l = 0, 1, 2:

l = 0: Für den Zweck des Beweises vereinbaren wir noch, daß im Falle eines trivialen Baumes, d.h. eines Baumes, der nur aus der Wurzel besteht und keine Kanten hat, die Wurzel ein Endknoten mit Wahrscheinlichkeit 1 ist.

l = 1: Hierzu gibt es offensichtlich eine W-Raum (Ω_{0}, P_{0}), wobei P_{0}{ω_{0ν}} die Übergangswahrscheinlichkeit der betreffenden Kante ist.

l = 2: Der Satz 1.12.1 zeigt für einen zweistufigen Baum die Existenz und Eindeutigkeit des W-Maßes auf den Endknoten.

Induktionsschritt: Für einen Baum der Länge l + 1 entferne man die Wurzel und die von der Wurzel ausgehenden Kanten, die wir mit ω_{01}, …, ω_{0n} bezeichnen. Diese bilden einen Baum der Länge 1.

Die bisherigen Knoten erster Stufe sind nun die Wurzeln für eine Familie von n disjunkten Bäumen der Länge ≤ l, die zusammen dieselben Endknoten haben, wie der vorgegebene Baum. Der Raum Ω der Endknoten hat also eine disjunkte Zerlegung

Ω := Ω_{11} ∪^{.} … ∪^{.} Ω_{1n}

in die Endknoten der gebildeten Teilbäume. Nach Induktionsannahme gibt es auf jedem der Räume Ω_{1,ν} ein W-Maß P_{1ν} mit den Eigenschaften (i) und (ii).

Nach Satz 1.12.1 gibt es auf Ω genau ein W-Maß mit den Eigenschaften (1.12.1) und (1.12.2). Man prüfe nun nach, daß P die geforderten Eigenschaften (i) und (ii) im Bezug auf den ursprünglichen Baum hat.

Anmerkung. (Bezeichnung der Übergangswahrscheinlichkeiten) Manchmal schreibt man für eine Kante (a_{ν−1}, a_{ν}), deren Anfang die Tiefe ν − 1 hat, die Übergangswahrscheinlichkeit auch suggestiver in der Form

p(a_{ν}|a_{0}, …, a_{ν−1}) := p(a_{ν}|a_{ν−1}),

wobei (a_{0}, …, a_{ν−1}, a_{ν}) der Pfad von der Wurzel zu a_{ν} ist.

Man berechnet das W-Maß eines Pfades mit der Pfadregel:

1.13.4 Folg. (Pfadregel) Für einen Endknoten ω ∈ Ω sei (a_{0}, …, a_{k} = ω) der Pfad vom Ursprung zu ω. Dann ist

P {ω} = p(a_{1}|a_{0})p(a_{2}|a_{1}) ⋯ p(a_{k}|a_{k−1}).

Ebenso folgt für einen inneren Knoten a_{k} mit Pfad (a_{0}, …, a_{k}), daß

P (Ω_{a_{k}}) = p(a_{1}|a_{0})p(a_{2}|a_{1}) ⋯ p(a_{k}|a_{k−1}

ist Beweis. (der Pfadregel) Da

{ω} = ⋂_{κ=1}^{k} Ω_{a_{k}}

ist, folgt aus der Multiplikationsregel (→ Satz 1.11.8)

P {ω} = P (Ω_{a_{1}})P (Ω_{a_{2}}|Ω_{a_{1}}) ⋯ P (Ω_{a_{k}}|Ω_{a_{k−1}})
= p(a_{1}|a_{0})p(a_{2}|a_{1}) ⋯ p(a_{k}|a_{k−1}).

Anmerkung. (Fortgesetzte mehrstufige Experimente) Wenn man ein mehrstufiges Zufallsexperiment E_{0} noch durch einige weitere anschließende Zufallsexperimente zu einem Experiment E ergänzt, werden sich die Wahrscheinlichkeiten der zuvor gewonnenen Beobachtungen nicht ändern. Sie werden aber in die Wahrscheinlichkeiten des Gesamtexperimentes E eingehen.

Die folgende Feststellung besagt, wie man aus der zu E gehörenden W-Maß P das zu E_{0} gehörende W-Maß P_{0} berechnet:

Man erhält die Wahrscheinlichkeit eines Ereignisses ω_{0} des Zufallsexperiments E_{0}, wenn man die Wahrscheinlichkeiten aller möglichen Ereignisse des umfangreicheren Experimentes E, bei deren Gewinnung ω_{0} als Zwischenschritt vorkommt, aufaddiert. Diese Überlegung ist oft hilfreich. Man denke an ein Zufallsspiel, das beendet wird, sobald einer der Spieler eine vorgegebene Anzahl k von gewonnenen Spielen erreicht hat. Ein Spielverlauf besteht aus mindestens k und höchstens 2k − 1 Runden. Die Formeln werden meist übersichtlicher, wenn man in Gedanken immer 2k − 1 Runden spielt und dann die Spielverläufe zusammenfaßt, in denen jeweils ein Spieler mehr Runden gewonnen hat als der andere.

Formuliert man diese Regel in der Sprache der Ereignisbäume und Zufallsvariablen, so erhält man die folgende Feststellung.

1.13.5 Festst. (Fortgesetzte mehrstufige Exp.) Es sei T_{0} ein Ereignisbaum. Man bilde einen größeren Ereignisbaum T indem man an einige der Endknoten von T_{0} jeweils einen beliebigen Ereignisbaum anfügt. Es seien Ω_{0} die Endknoten von T_{0} und Ω die Endknoten von T. Nach Konstruktion gibt es zu jedem Endknoten ω ∈ Ω genau einen Endknoten ω_{0} ∈ Ω_{0} derart, daß der Pfad von der Wurzel nach ω durch ω_{0} geht. Auf diese Weise erklärt man eine Abbildung

X : Ω → Ω_{0} durch ω ↦ ω_{0}.

Es seien (Ω_{0}, P_{0}) und (Ω, P) die durch Satz 1.13.3 eindeutig bestimmten W-Räume.

Dann ist die Bildverteilung P_{X} = P_{0}.

1.13.6 Bsp. (Verteilung der Asse beim Skat) Entgegen der übliche Weise kann man sich vorstellen, daß jeder der Spieler der Reihe nach zehn Karten der 32 Karten auf einmal bekommt und die verbleibenden zwei in den ”Skat“kommen. Bei einem gut gemischten Kartenspiel ist die Reihenfolge in der die Karten ausgegeben werden irrelevant. Man vergleiche die Diskussion zur Herleitung der hypergeometrischen Verteilung (→ Abschnitt 1.7).

Wir modellieren dies als 3-stufiges Experiment, bei dem alle möglichen Zuteilungen von Karten mit der gleichen Anzahl von Assen für den jeweiligen Spieler zu einem Knoten zusammengefaßt sind, d.h. wir unterscheiden nur zwei Typen von Karten: Asse und nicht-Asse. Man kann den Baum verschieden weit ausführen.

– Sobald die vier Asse verteilt, ist ein Endknoten erreicht. Die Endknoten haben unterschiedliche Tiefe.

Es gibt also 5 Knoten erster Stufe für die Fälle, daß der erste Spieler k_{1} = 0, … 4 Asse erhalten hat. Von dem Knoten 0 zweigen fünf Kanten ab, vom nächsten vier Kanten usw. Der Knoten 4 ist bereits ein Endknoten. Und so fort.

– Man zeichnet für jeden der drei Spieler die auf Grund der vorangehenden Verteilung der Asse verbleibenden Möglichkeiten ein. Alle Endknoten haben die Tiefe drei.

D.h., von dem Knoten 4 erster Stufe gibt es genau eine Kante zu dem Knoten (4, 0) und von dort eine Kante zu einem Knoten (4, 0, 0). Die Übergangswahrscheinlichkeiten für diese Kanten sind p(0|4) = 1 und p(0|4, 0) = 1.

– Man zeichnet für jeden der drei Spieler je fünf Knoten für die Fälle k_{1} = 0, … 4 Asse. Auf die Weise entsteht ein → Produktbaum.

Auf Grund der bereits vergebenen Asse erhalten dann die unmöglichen Kanten die Übergangswahrscheinlichkeit 0.

Nach Feststellung 1.13.5 führen alle Möglichkeiten zum gleichen Ergebnis.

Die Übergangswahrscheinlichkeit für die Anzahl Asse ist hypergeometrisch verteilt, wobei aber die Parameter von dem vorangehenden Pfad abhängen.

Es sei Ω die Menge der möglichen Pfade dieses Baumes und X_{i} : Ω → {0, …, 4} die Anzahl der Asse für den iten Spieler. Für die Übergangswahrscheinlichkeiten folgt dann

p(X_{1} = k_{1}) = ℋ_{32,4,10}(k_{1}),
p(X_{2} = k_{2}|X_{1} = k_{1}) = ℋ_{22,4−k_{1},10}(k_{2}),
p(X_{3} = k_{3}|X_{1} = k_{1}, X_{2} = k_{2}) = ℋ_{12,4−k_{1}−k_{2},10}(k_{3}),

Offensichtlich sind die Regeln für einen Ereignisbaum erfüllt. Es sei P die Wahrscheinlichkeitsverteilung auf den Pfaden zu den Endknoten.

Für die Wahrscheinlichkeit des Pfades (1, 1, 1), daß jeder Spieler genau ein Ass bekommt, erhält man mit der Pfadregel (→ Folgerung 1.13.4)

P \{(1, 1, 1)\} = \begin{matrix}\binom{4}{1} & \binom{28}{9} \\ ( & {32 \atop 10} & ) \end{matrix} · \begin{matrix}\binom{3}{1} & \binom{19}{9} \\ ( & {22 \atop 10} & ) \end{matrix} · \begin{matrix}\binom{2}{1} & \binom{10}{9} \\ ( & {12 \atop 10} & ) \end{matrix}

Die meisten Fakultäten kürzen sich weg:

= 10^{3} \frac{4!2!}{32 · 31 · 30 · 29} ≈ 0, 056.

Bsp. (Produktbaum) Das Produkt Ω_{1} × … Ω_{n} von endlichen Mengen kann man auch als Baum ansehen:

Mit dem leeren Tupel () bezeichne man die Wurzel, Die Knoten des Baumes sind die k-Tupel (x_{1}, …, x_{k}) ∈ Ω_{1} × … Ω_{k} mit k = 1, …, n. Schreibt man Pfade ((), (x_{1}), (x_{1}, x_{2}), …, (x_{1}, …, x_{k})) vereinfacht als (x_{1}, …, x_{k}) so kann man die k-Tupel auch als Pfade lesen. Die n-Tupel sind die Endknoten oder die maximalen Pfade des Baumes.

Wir formulieren den Satz 1.13.3 noch einmal für den wichtigen Spezialfall der Produktbäume:

1.13.7 Folg. (Produktbäume) Gegeben sei ein n-stufiges Experiment, (n ≥ 2). Das νte Teilexperiment habe die endliche Ergebnismenge Ω_{ν}, (ν = 1, …, n). Man schreibe den Ereignisbaum als Produktbaum

Ω := Ω_{1} × ⋯ × Ω_{n}

und bezeichne die Ergebnisse des ν-ten Experiments mit X_{ν} : Ω → Ω_{ν}; d.h. X_{ν} ist die ν-te Projektion pr_{ν}.

Gegeben seien für jede Kante eines Pfades (x_{ν}, x_{ν−1}, …, x_{1}) die Übergangswahrscheinlichkeit p(x_{ν}|x_{ν−1}, …, x_{1}), so daß 0 ≤ p(x_{ν}|x_{ν−1}, …, x_{1}) ≤ 1 und

∑_{x∈Ω_{ν}} p(x|x_{ν−1}, …, x_{1}) = 1

ist. Im Falle ν = 1 schreiben wir die Üergangswahrscheinlichkeiten als p(x_{1}) statt p(x_{1}|()).

Dann gibt es genau ein W-Maß P auf Ω mit folgenden Eigenschaften:

(i) Für x_{1} ∈ Ω_{1} gilt

P {X_{1} = x_{1}} = P ({x_{1}} × Ω_{2} × ⋯ × Ω_{n})
= p(x_{1}).

(ii) Für (x_{1}, …, x_{ν}) ∈ Ω_{1} × … Ω_{ν}, (ν = 2, …, n), gilt^{3}

P (X_{ν} = x_{ν} | X_{1} = x_{1}, …, X_{ν−1} = x_{ν−1})

= P ( ∏_{j=1}^{ν−1} Ω_{j} × {x_{ν}} × ∏_{j=ν+1}^{n} Ω_{j}

| {(x_{1} …, x_{ν−1})} × ∏_{j=ν+1}^{n} Ω_{j})

= p(x_{ν}|x_{ν−1}, …, x_{1}).

Dieses Maß wird mit der Pfadregel berechnet:

P {ω} = p(x_{1})p(x_{2}|x_{2}) ⋯ p(x_{n} | x_{1}, …, x_{n−1})

für ω = (x_{1}, …, x_{n}) ∈ Ω.

3Man schreibt kurz

P (X = x | Y = y) := P ({X = x} | {Y = y}).

Gerd Wittstock, UdS, FR 6.1 Mathematik,  Elementare W-Theorie, SS 03  Version: 9. Juli 2003

1.14 Polya’s Urnenmodell

Anmerkung. (Polya’s Urnenmodelle) Polya dachte bei dem folgenden Beispiel 1.14.1 an die Ausbreitung einer Infektion. Er wählte ein Urnenmodell, bei dem die Kugeln die infizierten bzw. die immunisierten Individuen innerhalb einer Population repräsentieren. Die Anzahlen der infizierten und der immunisierten wachsen nach einer Zufallsregel. Man kann aber auch an die Modellierung von ”Seilschaften“denken.

Das Modell kann man variieren, indem man statt nur einer zusätzlichen Kugel mehrere Kugeln der gleichen Farbe zurücklegt oder auch wegnimmt. Die so entstehenden Verteilungen für die Anzahl der gezogenen schwarzen Kugeln heißen Polya-Verteilungen. Spezialfälle sind die Binomialverteilung (keine zusätzliche Kugel) und die hypergeometrische Verteilung (kein Zurücklegen).

Wir untersuchen als Beispiel den Fall, daß jeweils die gezogene Kugel und eine zusätzliche Kugel der gleichen Farbe zurückgelegt wird.

1.14.1 Bsp. (Polya’s Urnenmodell) Einer Urne enthält K schwarze und N − K rote Kugeln. Es wird eine Kugel gezogen und zusammen mit einer weiteren neuen Kugel derselben Farbe in die Urne zurückgelegt und so fort. Die Anzahl der Kugeln wächst also nach jedem Zug und die Zusammensetzung der Urne ändert sich zufällig.

1. Bei einer Zugfolge der Länge n seien k schwarze und n − k rote Kugeln gezogen worden. Nach dem Zurücklegen enthält die Urne dann N + n Kugeln, davon sind

K + k schwarz und N + n − (K + k) rot.

woraus sich die Übergangswahrscheinlichkeiten nach dieser Zugfolge für den nächsten Zug ergeben:

Die Wahrscheinlichkeit nun eine schwarze Kugel zu ziehen ist \frac{K+k}{N+n}.

Die Wahrscheinlichkeit nun eine rote Kugel zu ziehen ist \frac{N+n−(K+k)}{N+n}.

Führt man diese Zufallsexperiment n-mal durch, so erhält einen Ereignisbaum und somit ein W-Maß P_{n} auf dem Raum Ω_{n} der Endknoten. Nimmt man statt der Endknoten die zugehörigen Pfade, so ist in diesem Fall Ω_{n} = {s, r}^{n}.

2. Da die Übergangswahrscheinlichkeiten in jedem Schritt nicht von der Reihenfolge abhängen, in der rote oder schwarze Kugeln zuvor gezogen wurden, sondern nur von der Anzahl der bisher gezogenen schwarzen Kugeln, bieten sich die folgende Bezeichnungen an:

Z_{i} := \begin{cases}1 i-te Kugel schwarz, \\ 0 i-te Kugel rot. \end{cases}

Die Anzahl der bis zum j-ten Schritt gezogenen schwarzen Kugeln ist

X_{j} := ∑_{i=1}^{j} Z_{i}.

3. Die Wahrscheinlichkeit eines Pfades (z_{1}, …, z_{n}) ∈

Ω_{n} mit X(z_{1}, …, z_{n}) = ∑_{i=1}^{n} Z_{i}(z_{i}) = k ist:

P_{n}(Z_{1} = z_{1}, …, Z_{n} = z_{n})  (∗)

= \frac{K(K+1)···(K+k−1)·(N−K)(N−K+1)···(N−K+(n−k)−1)}{N(N+1)···(N+n−1)}

= \frac{(K + k − 1)_{k}((N − K) + (n − k) − 1)_{n−k}}{(N + n − 1)_{n}}

Die Gleichung (∗) folgt aus der Pfadregel (→ Folgerung 1.13.4) durch Induktion über n.

4. Die Wahrscheinlichkeit, daß nach n Schritten k schwarze Kugeln gezogen wurden ist

P_{n}{X_{n} = k}  (∗∗)

= ∑_{\begin{matrix}(z_{1},...,z_{n})∈\{s,r\}^{n} \\ X(z_{1},...,z_{n})=k \end{matrix}} P \{Z_{1} = z_{1}, …, Z_{n} = z_{n}\}

= \binom{n}{k} \frac{(K+k−1)_{k}((N−K)+(n−k)−1)_{n−k}}{(N+n−1)_{n}}

= \binom{K+k−1}{k}\binom{(N−K)+(n−k)−1}{n−k}/\binom{N+n−1}{n}

Man kann diese Gleichung (∗∗) auch folgendermaßen deuten: In N Kästen, von denen K schwarz sind, werden n nicht unterscheidbare Kugeln mit Wiederholung gelegt. Auf dem Raum der Belegungen wähle man die Gleichverteilung. Die Zufallsvariable X_{n} gibt an, wieviele Kugeln in den schwarzen Kästen liegen.

5. Im Falle N = 2 und K = 1 ist

P_{n}\{X_{n} = k\} = \frac{1}{(n + 1)} für k = 0, …, n.

Die Zufallsvariable X_{n} beschreibt in diesem Fall ein komplizierte Methode, die Gleichverteilung zu erzeugen.

1.15 Erwartungswert

1.15.1 Bsp. Ihnen wird folgendes Spiel angeboten. Sie dürfen eine Münze vier mal werfen. Wenn in jedem der vier Würfe Zahl fällt, gewinnen Sie 20 Euro. Erscheint in genau drei Würfen Zahl, so erhalten Sie 10 Euro. Sie müssen aber bei jedem Spiel einen Einsatz von 4 Euro zahlen. Würden Sie zustimmen, dieses Spiel einen ganzen Abend zu spielen?

Wenn Sie darauf eingehen, werden Sie ab und zu mal 6 Euro oder sogar 16 Euro gewinnen und in vielen anderen Runden 4 Euro verlieren. Die Frage lautet also, welchen durchschnittlichen Gewinn oder Verlust Sie bei den vielen Runden, die im Laufe des Abend gespielt werden, pro Runde zu erwarten haben.

Ob Sie in einer Runde etwas gewinnen oder verlieren, hängt vom Ausgang eines Zufallsexperiments ab. Wenn man unterstellt, daß es sich eine faire Münze handelt, wird man das Zufallsexperiment durch den Ereignisraum Ω := {1, 0}^{4} mit der Laplace-Wahrscheinlichkeit beschreiben. Dabei stehe 1 für Zahl und 0 für Kopf. Die Zufallsvariable X : Ω → ℝ mit

X(ω) := \{ \begin{matrix}−4 & für ∑_{i=1}^{4} ω_{i} < 3, \\ 6 & für ∑_{i=1}^{4} ω_{i} = 3. \\ 16 & für ∑_{i=1}^{4} ω_{i} = 4 \end{matrix}

gibt an, welchen Gewinn oder Verlust Sie in einem Spiel mit dem Ergebnis ω = (ω_{1}, …, ω_{4}) ∈ {1, 0}^{4} machen. Die drei Fälle, die eintreten können, haben die Wahrscheinlichkeiten

P \{X = k\} := \begin{cases}\frac{11}{16} & für k = −4 \\ \frac{4}{16} & für k = 6 \\ \frac{1}{16} & für k = 16. \end{cases}

Bei einer großen Anzahl n von Spielen ”erwartet“ man, daß die relativen Häufigkeiten in der die Verluste oder Gewinne eintreten, ungefähr gleich den angegebenen Wahrscheinlichkeiten sein werden:

R_{n}\{X = −4\} ≈ \frac{11}{16},
R_{n}\{X = 6\} ≈ \frac{4}{16},
R_{n}\{X = 16\} ≈ \frac{1}{16}.

Die Bilanz bei n Spielen ist also voraussichtlich

n·(−4R_{n}{X = −4}+6R_{n}{X = 6}+16R_{n}{X = 16})

\begin{matrix}≈ n( − 4 · \frac{11}{16} + 6 · \frac{4}{16} + 16 · \frac{1}{16}) \\ = n · \frac{−1}{4}. \end{matrix}

Bei dem Spiel wird man also im Schnitt \frac{1}{4} Euro pro Runde verlieren.

Entsprechende Überlegungen für eine beliebige reellwertige Zufallsvariable führen auf die folgende Definition:

1.15.2 Def. (Erwartungswert) Es seien (Ω, P) ein endlicher W-Raum und X : Ω → ℝ eine reellwertige Zufallsvariable mit der endlichen Wertemenge X(Ω) ⊂ ℝ Dann heißt die Zahl

E(X) := ∑_{x∈X(Ω)} x · P {X = x}

der Erwartungswert der Zufallsvariablen X.

Zur Klarstellung, welches W-Maß verwendet wird, schreibt man auch E_{P} (X).

1.15.3 Festst. (Formeln: Erwartungswert) Es seien (Ω, P) ein endlicher W-Raum und X, Y : Ω → ℝ reellwertige Zufallsvariable.

(i) Der Erwartungswert einer Zufallsvariablen hängt nur von ihrer Verteilung ab:

E(X) := ∑_{x∈X(Ω)} x · P_{X}{x}.

Man spricht deshalb auch von dem Erwartungswert eines W-Maßes auf einer endlichen Teilmenge von ℝ.

(ii) Häufig ist es praktisch, den Erwartungswert als Summe über die Elemente von Ω auszudrücken:

E(X) = ∑_{ω∈Ω} X(ω) · P {ω}.

Anmerkung. Die Formel Feststellung 1.15.3 (i) erlaubt es, bei der Berechnung des Erwartungswertes die Zufallsvariable durch eine andere mit der gleichen Verteilung zu ersetzen. Anmerkung. (geordneter Vektorraum der ZVn) Die reellen Zufallsvariablen X, Y über einem W-Raum (Ω, P) bilden einen geordneten reellen Vektorraum mit der Addition

(X + Y)(ω) := X(ω) + Y (ω),

und der Multiplikation

(aX)(ω) := aX(ω) für a ∈ ℝ.

Die Ordnung X ≤ Y bedeutet, daß punktweise X(ω) ≤ Y (ω) für alle ω ∈ Ω ist.

1.15.4 Festst. (Erwartungswert linear, monoton) Es seien (Ω, P) ein endlicher W-Raum und X, Y : Ω → ℝ reellwertige Zufallsvariable.

(i) Die Bildung des Erwartungswertes ist linear:

E(X + Y) = E(X) + E(Y)
E(λX) = λE(X) für λ ∈ R.

(ii) Die Bildung des Erwartungswertes ist monoton wachsend:

aus X ≤ Y folgt E(X) ≤ E(Y).

(iii) Der Erwartungswert einer Indikatorfunktion ist gleich der Wahrscheinlichkeit des zugehörigen Ereignisses:

E(1l_{A}) = P (A) für A ∈ 2^{Ω}.

1.15.5 Bsp. (Serien) Es sei (Z_{0}, Z_{1}, …, Z_{n}) eine Tupel von n + 1-fach Bernoulli-verteilten Zufallsvariablen mit Parameter p ∈ [0, 1] Dann ist jeder der Zufallsvariablen

S_{i} := 1l_{{Z_{i}≠Z_{i−1}}} für i = 1, …, n

Bernoulli-verteilt mit Parameter 2p(1 − p). Um dies einzusehen. bilden wir die gemeinsame Verteilung von S_{i−1}, S_{i}):

\begin{matrix}Z_{i−1}\Z_{i} & 1 & 0 \\ 1 & p^{2} & p(1 − p) \\ 0 & (1 − p)p & (1 − p)^{2} \end{matrix}

Also ist P {S_{i} = 1} = 2p(1−p). Wenn S_{i} = 1 ist, so wird an der i-ten Stelle eine neue Serie von gleichen Werten eingeleitet. Die Zufallsvariable

Y := ∑_{i=1}^{n} S_{i}

beschreibt die Anzahl der Serien in einem Ergebnistupel (z_{0}, z_{1}, …, z_{n}), wobei aber die von z_{0} eingeleitete Serie nicht mitzählt. Die Anzahl der Serien in dem Tupel ist X := Y + 1 und der Erwartungswert für die Anzahl von Serien ist (→ Feststellung 1.15.4)

E(X) = E(1) + E(Y) = 1 + n · 2p(1 − p).

Im Falle eines n + 1-maligen fairen Münzwurf ist die erwartete Anzahl von Serien gleich 1 + \frac{n}{2}.

Anmerkung. Da der Erwartungswert einer Zufallsvariablen X nur von der Verteilung P_{X} abhängt, erhält man aus Feststellung 1.6.4 die Transformationsformel für den Erwartungswert:

1.15.6 Festst. (Transformationsformel) Gegeben seien ein endlicher W-Raum (Ω, P), eine endliche Menge Ω′ und eine Abbildung Y : Ω → Ω′. Man versehe Ω′ mit der Bildverteilung P_{Y}.

Wenn für die Zufallsvariablen

X : Ω → ℝ und Z : Ω′ → ℝ

die Beziehung X = Z ∘ Y besteht, dann gilt

E_{P} (X) = E_{P_{Y}} (Z).

Man kann dies Ergebnis folgendermaßen schreiben (→ Feststellung 1.6.4)

E_{P} (X) = ∑_{x∈X(Ω)} xP_{X}{x} = ∑_{z∈Z(Ω′)} z(P_{Y} )_{Z}{z} = E_{P_{Y}} (Z).

1.15.7 Folg. (Funktionen von ZVn) Es seien (Ω, P) ein endlicher W-Raum und X : Ω → ℝ eine reellwertige Zufallsvariable. Für eine reelle Funktion f : X(Ω) → ℝ gilt

E(f(X)) = ∑_{x∈X(Ω)} f(x)P {X = x}.

1.15.8 Bsp. (Erwartungswerte) Es seien (Ω, P) ein endlicher W-Raum und X : Ω → ℝ eine reellwertige Zufallsvariable.

1. Es sei X Laplace-verteilt, n := |Ω|, und Ω = {ω_{1}, …, ω_{n}}. Dann gilt

E(X) = \frac{1}{n} ∑_{ν=1}^{n} X(ω_{ν}).

Der Erwartungswert einer Laplace-verteilten Zufallsvariablen X ist das arithmetische Mittel der Werte von X.

2. Es sei X Bernoulli-verteilt mit dem Parameter p. Dann gilt

E(X) = 1 · P_{X}{1} + 0 · P {0} = 1 · p + 0 · (1 − p) = p.

3. Es sei X binomialverteilt mit den Parametern n und p. Dann ist

E(X) = np.

Beweis. Für den Beweis benutzen wir das Standardmodell eines Bernoulli-Experimentes (→ Bezeichnung 1.8.8). Für einen rechnerischen Beweis → Beispiel 1.15.9.

Es sei Ω := {1, 0} mit W-Maß P {1} := p, P {0} = 1 − p. Auf (Ω^{n}, P^{⊗n}) gibt die Zufallsvariablen

X(ω) = ∑_{i=1}^{n} pr_{i}(ω) = ∑_{i=1}^{n} ω_{i}

die Anzahl der Einsen in dem n-Tupel ω = (ω_{1}, …, ω_{n}) ∈ Ω^{n} an.

Das Tupel (pr_{1}, …, pr_{n}) ist n-fach Bernoulli-verteilt mit dem Parameter p und folglich ist die Summe X binomialverteilt mit dem Parametern n und p (→ Beispiel 1.8.3). Nach Feststellung 1.15.4 folgt nun

E(X) = ∑_{i=1}^{n} E(pr_{i}) = np.

4. Es sei X hypergeometrisch verteilt mit den Parametern N, K und n. Dann gilt

E(X) = n\frac{K}{N} .

Beweis. Für den Beweis benutzen wir ein Urnenmodell mit geordneten Stichproben vom Umfang n ohne Wiederholung (→ Beispiel 1.7.5). Für einen rechnerischen Beweis → Beispiel 1.15.9.

Eine Urne mit N Kugeln enthalte K schwarze und N − K rote Kugeln. Auf dem Raum Ω_{ord} der geordneten Stichproben σ = (σ_{1}, …, σ_{n}) ohne Wiederholung vom Umfang n aus den N Kugeln bilde man für (i = 1, …, n) die Zufallsvariablen

V_{i} : Ω_{ord} → {0, 1},
V_{i} : σ ↦ \begin{cases}1 & wenn σ_{i} schwarz, \\ 0 & wenn σ_{i} rot. \end{cases}

Jede der Zufallsvariablen V_{i} ist Bernoulli-verteilt mit Parameter p = \frac{K}{N}. Die Zufallsvariable (→ Beispiel 1.7.1 Punkt 3)

X = X_{ord} := ∑_{i=1}^{n} V_{i}

gibt die Anzahl der schwarzen Kugeln in der geordneten Stichprobe an. X ist hypergeometrisch verteilt mit den Parametern N, K, n. Nach Feststellung 1.15.4 folgt nun

E(X) = ∑_{i=1}^{n} E(V_{i}) = np.

Anmerkung. Man beachte, das bei gleichen Parametern n und p = \frac{K}{N} die Binomialverteilung und die hypergeometrische Verteilung den gleichen Erwartungswert haben.

Der Erwartungswert der schwarzen Kugeln in einer Stichprobe vom Umfang n aus einer Urne mit K schwarzen und N − K roten Kugeln ist in den beiden Fällen ”Ziehen mit Zurücklegen“ und ”Ziehen ohne Zurücklegen“ gleich n \frac{K}{N}.

1.15.9 Bsp. Man kann den Erwartungswert der Binomialverteilung und der hypergeometrischen Verteilung auch direkt aus den Formeln für die Verteilung berechnen:

1. Es sei X binomialverteilt mit den Parametern n, p:

P \{X = k) = ℬ_{n,p}(k) = \binom{n}{k}p^{k}(1 − p)^{n−k}.

Dann folgt

E(X) = ∑_{k=0}^{n} k\binom{n}{k}p^{k}(1 − p)^{n−k}

= np ∑_{k=1}^{n} \binom{n−1}{k−1}p^{k−1}(1 − p)^{(n−1)−(k−1)}

= np ∑_{κ=0}^{n−1} \binom{n−1}{κ}p^{κ}(1 − p)^{(n−1)−κ}

= np(p + (1 − p))^{n−1} = np.

2. Es sei X hypergeometrisch verteilt mit den Parametern N, K, n. Aus

P \{X = k\} = ℋ_{N.K,n}(k) = \binom{N}{n}^{−1}\binom{K}{k}\binom{N−K}{n−k}

folgt

E(X) = \binom{N}{n}^{−1} ∑_{k=0}^{n} k\binom{K}{k}\binom{N−K}{n−k}

= \binom{N}{n}^{−1}K ∑_{k=1}^{n} \binom{K−1}{k−1}\binom{N−K}{n−k}

= \binom{N}{n}^{−1}K ∑_{k=0}^{n−1} \binom{K−1}{κ}\binom{(N−1)−(K−1)}{n−1−κ}

= \binom{N}{n}^{−1}K\binom{N−1}{n−1} = n\frac{K}{N} .

Hierbei wurde die folgende Formel für Binomialkoeffizienten benutzt

\binom{N−1}{n−1}−1 ∑_{κ=0}^{n−1} \binom{K−1}{κ}\binom{(N−1)−(K−1)}{(n−1)−κ}

= ∑_{κ=0}^{n−1} ℋ_{N−1.K−1,n−1}(κ) = 1.

1.15.10 Bem. (partielle Summation) Für eine Zufallsvariable X : (Ω, P) → ℕ_{0} ist die folgende Summationsmethode oft hilfreich.

Mit m := max(X(Ω) gilt

E(X) = ∑_{ν=1}^{n} P {X ≥ ν}

Beweis.

E(X) = ∑_{ν=0}^{m} νP {X = ν}
= ∑_{ν=1}^{m} ∑_{μ=1}^{ν} P {X = ν}  (∗)
= ∑_{ν=1}^{m} ∑_{μ=ν}^{m} P {X = μ}  (∗∗)

= ∑_{ν=1}^{m} P {X ≥ ν}

Für die Umsummierung von (∗) zu (∗∗) schaue man sich das folgende Bild an:

P {X = 1}

P {X = 2} P {X = 2}
P {X = 3} P {X = 3} P {X = 3}
⋮
P {X = m} P {X = m} P {X = m} … P {X = m}

In (∗) wird über die Zeilen summiert und in (∗∗) über die Spalten.

1.16 Bedingte Erwartung

1.16.1 Def. (bedingte Erwartung) Es seien (Ω, P) ein W-Raum, A ∈ 2^{Ω} und X : Ω → ℝ.

Unter der bedingten Erwartung von X gegeben A versteht man den Erwartungswert der Einschränkung X|A von X auf die Menge A in bezug auf das bedingte W-Maß P (·|A).

Man bezeichnet den bedingten Erwartungswert von X gegeben A mit

E(X|A) := ∑_{x∈X(A)} x · P (X = x|A)  (1.16.1)

und wenn P (A) > 0 ist:

= \frac{1}{P (A)} ∑_{ω∈A} X(ω)P \{ω\}.  (1.16.2)

(1.16.3)

Da die bedingte Wahrscheinlichkeit P (.|A) auf die Menge A konzentriert ist, gilt auch

P (X|A) := ∑_{x∈X(Ω)} x · P (X = x|A).  (1.16.4)

Anmerkung. Analog zur Formel von der totalen Wahrscheinlichkeit (→ Satz 1.11.6) gilt:

1.16.2 Satz (totale Erwartungswert) Es seien (Ω, P) ein endlicher W-Raum und

Ω = B_{1} ∪^{.} … ∪^{.} B_{n}

eine Zerlegung von Ω in disjunkte Teilmengen B_{ν} ∈ 2^{Ω} mit P (B_{ν}) > 0. Für eine reelle Zufallsvariable X : Ω → ℝ gilt dann

E(X) = ∑_{ν=1}^{n} E(X|B_{ν}) · P (B_{ν})

Anmerkung. Zur Vereinfachung vereinbaren wir die folgende Konvention: Damit die Formel vom totalen Erwartungswert allgemein gilt, setze man im Fall P (B) = 0 auch E(X|B) = 0. Dies paßt zu der Vereinbarung Definition 1.11.3 (iii).

Man beachte nur, daß im Fall P (B) = 0 weder P (.|B) ≡ 0 ein W-Maß ist noch E(X|B) = 0 ein ”Erwartungswert“ ist.

Eine andere Möglichkeit ist es, in Fall P (B) = 0 den Ausdruck E(X|B) undefiniert zu lassen, und zu vereinbaren, daß dann E(X|B)P (B) = 0 sein soll. Da im Falle endlicher und auch diskreter W-Räume ein Ereignis B mit P (B) = 0 mit Sicherheit nicht eintritt, ist es unwichtig, wie man in diesem Fall das Symbol E(X|B) interpretiert. Wir kommen im Fall stetiger Verteilungen auf diese Frage wieder zurück.

1.16.3 Bem. Es seien (Ω, P) ein W-Raum, A ∈ 2^{Ω}, P (A) > 0 und X : Ω → ℝ. Sind X und 1l_{A} unabhängig, so gilt

E(X|A) = E(X)

1.16.4 Bez. (bedingte Erwartung E(X|Y)) Es seien (Ω, P) ein endlicher W-Raum, M eine endliche Menge und

X : (Ω, P) → ℝ und Y : (Ω, P) → M Zufallsvariable. Man definiert die bedingte Erwartung von X gegeben Y als

E(X|Y) : (M, P_{Y}) → ℝ,

mit

E(X|Y) : y ↦ \begin{cases}E(X | Y = y) & falls P \{Y = y\} > 0, \\ 0 & sonst \end{cases}

für y ∈ M. Man beachte, daß diese bedingte Erwartung eine reelle Zufallsvariable ist.

Bsp. (bedingte Erwartung bzgl. einer ZV) X gebe das Gewicht eines Bürgers abgerundet in kg an und Y die Körpergröße abgerundet in cm. Man versehe die Menge der Bürger mit der Laplace-Verteilung P. Dann ist

E(X) das Durchschnittsgewicht der Bevölkerung.

E(X | Y = y) das Durchschnittsgewicht der Bürger, die y cm groß sind.

E(X|Y) das Durchschnittsgewicht als Funktion der Größe.

P_{Y} beschreibt den Anteil der Bürger mit gegebener Körpergröße an der Bevölkerung.

Nun ist anschaulich klar, daß der Erwartungswert von E(X|Y) bezüglich P_{Y} gleich dem Durchschnittsgewicht E(X) der Bevölkerung ist.

Wir wollen die obige anschauliche Überlegung in eine allgemeingültige Aussage überführen (→ Feststellung 1.16.5). Anmerkung. 1. Mit der Vereinbarung E(X|B) = 0, falls P (B) = 0 ist, können wir die obige Definition kürzer schreiben:

E(X|Y) : y ↦ E(X | Y = y) für y ∈ M.

2. Ist Y : (Ω, P) → M eine Zufallsvariable, so bildet die Familie {Y = y}, (y ∈ M), eine Zerlegung von Ω, bei der jedoch P {Y = y} = 0 möglich ist. Wenn Y nicht surjektiv ist, sind auch einige der Mengen {Y = y} leer. Auch das stört nicht weiter.

Aus dem Satz von der totalen Erwartung folgt nun:

1.16.5 Festst. (Erwartungswert von E(X|Y)) Es seien (Ω, P) ein endlicher W-Raum, M eine endliche Menge und

X : (Ω, P) → ℝ und Y : (Ω, P) → M

Zufallsvariable. Für den Erwartungswert der bedingten Erwartung E(X|Y) gilt dann

E(E(X|Y)) = E(X).

1.16.6 Bem. (E(X|Y) für X, Y unabhängig) Es seien (Ω, P) ein W-Raum, A ∈ 2^{Ω} und X, Y : Ω → ℝ. Sind X und Y unabhängig, so gilt

E(X|Y) = E(X)1l_{{y|P {Y =y}>0}}
P (E(X|Y) − E(X)) = 1

Da es auf die Werte auf unmöglichen Ereignissen nicht ankommt, setzt man für unabhängige X, Y zur Vereinfachung E(X|Y) = E(X).

Anmerkung. (bedingte Verteilung) Zur Berechnung der Bedingten Erwartung E(X|A) ist es oft nützlich, zuerst die bedingte Verteilung

x ↦ P (X = x | A)

von X gegeben A zu berechnen.

Zur Berechnung der bedingten Erwartung E(X|Y) benötigt man zuerst die bedingte Verteilung

x ↦ P (X = x | Y = y)

von X gegeben Y = y.

1.16.7 Bez. (bedingte Verteilung) Es seien (Ω, P) ein endlicher W-Raum und X : Ω → ℝ.

1. Für A ∈ 2^{Ω} nennt man

2^{X(Ω)} ∋ B ↦ P (X ∈ B | A)

die bedingte Verteilung von X gegeben A. Für P (A) > 0 ist die bedingte Verteilung ein W-Maß.

Man schreibt auch P_{X|A}(B) := P (X ∈ B | A).

2. Für eine Zufallsvariable Y → M und C ∈ 2^{M} heißt

2^{X(Ω)} ∋ B ↦ P (X ∈ B | Y ∈ C)

die bedingte Verteilung von X gegeben Y ∈ C.

Man schreibt auch P_{X|Y} (B|C) := P (X ∈ B | Y ∈ C).

1.16.8 Bsp. Es seien X, Y unabhängige, binomialverteilte Zufallsvariable mit den Parametern K, p bzw. L, p und 0 < p < 1. Dann gilt mit N := K + L

(i) Die bedingte Verteilung von X gegeben X +Y = n ist die hypergeometrische Verteilung mit den Parametern N, K, n:

P (X | X + Y = n) = ℋ_{N,K,n} für n = 0, …, N.

(ii) Der bedingte Erwartung von X gegeben X + Y ist

E(X|X + Y) : n ↦ n\frac{K}{N} für n = 0, …, N.

Beweis. Wir betrachten N-fach Bernoulli-verteilte Zufallsvariable Z_{1}, …, Z_{N}, wobei N := K+L ist. D.h., wir haben N unabhängige Bernoulli-Experimente mit der gleichen Erfolgswahrscheinlichkeit 0 < p < 1. Die Zufallsvariablen

X := ∑_{i=1}^{K} Z_{i}, Y := ∑_{i=K+1}^{N} Z_{i}.

geben die Anzahl der Erfolge unter den ersten K bzw. unter den restlichen L Experimenten an. X+Y ist die Gesamtanzahl der Erfolge. Nach Bezeichnung 1.5.1 haben X und Y die angegebene Verteilung.

Zunächst wollen wir das Ergebnis, daß X|{X + Y = n} hypergeometrisch verteilt ist, anschaulich interpretieren. Dabei sieht man auch, warum der Erfolgsparameter p nicht in das Ergebnis eingeht. Es muß nur 0 < p < 1 gelten.

Dies folgt aber aus dem obigen Modell: Gegeben sind nun X + Y = n Erfolge, die sich in X Erfolge in den ersten K Experimenten und Y Erfolge unter den restlichen L = N − K Experimenten aufteilen. Eine solche Aufteilung wird durch die Einschränkung X|{X + Y = n} beschrieben.

Da es sich um unabhängige Bernoulli-Experimente mit gleicher Erfolgswahrscheinlichkeit handelt, sind alle diese Aufteilungen gleichwahrscheinlich. Jede Aufteilung der n Erfolge entspricht also einer Stichprobe vom Umfang n aus einer Urne mit K schwarzen Kugeln und N − K roten Kugeln ( → Beispiel 1.7.1). Folglich sind die Aufteilungen hypergeometrisch verteilt mit den Parametern N, K, n.

Wen diese Argumentation nicht ganz überzeugt, der rechnet mit den Definitionen:

Da die Z_{1}, …, Z_{N} N-fach Bernoulli-verteilt mit dem Parameter p sind, ist • X binomialverteilt mit den Parametern K, p,

• Y binomialverteilt mit den Parametern L, p,

• X + Y binomialverteilt mit den Parametern N, p.

Wir berechnen nun die bedingte Wahrscheinlichkeit P (X = k | X + Y = n) nach Definition 1.11.3:

P (X = k | X + Y = n) = \frac{P \{X = k, X + Y = n\}}{P \{X + Y = n\}}

= \frac{P \{X = k, Y = n − k\}}{P \{X + Y = n\}}

= \frac{P \{X = k\} · P \{Y = n − k\}}{P \{X + Y = n\}}

= \frac{ℬ_{K,p}kℬ_{N−K,p}n − k}{ℬ_{N,p}n}

= \frac{\binom{K}{k}p^{k}(1 − p)^{K−k} · \binom{N−K}{n−k}p^{n−k}(1 − p)^{(N−K)−(n−k)}}{\binom{N}{n}p^{n}(1 − p)^{N−n}}

= \begin{matrix}\binom{K}{k} & \binom{N−K}{n−k} \\ ( & {N \atop n} & ) \end{matrix}

= ℋ_{N,K,n}{k}.

Nach Beispiel 1.15.8 (4) ist

E(X | X + Y)(n) := E(X | X + Y = n) = n\frac{K}{N}

Zur Übung berechnen wir noch

E(E(X | X + Y)) = ∑_{n=0}^{N} E(X | X + Y = n)P {X + Y = n}

= \frac{K}{N} ∑_{n=0}^{N} nℬ_{N,p}\{n\}

= \frac{K}{N} Np = Kp = E(X),

wie es nach Feststellung 1.16.5 sein muß.

Aufgabe Es seien (X_{1}, X_{2}, X_{3}) multinomialverteilt mit den Parametern N; p_{1}, p_{2}, p_{3}, wobei p_{1}, p_{2}, p_{3} ∈ (0, 1) und p_{1} + p_{2} + p_{3} = 1 ist (→ Beispiel 1.5.3)

Man zeige: X_{1} gegeben X_{2} = n ist binomialverteilt mit den Parametern N − n, \frac{p_{1}}{1−p_{2}} und berechne die bedingte Erwartung E(X_{1} | X_{2} = n).

Man gebe eine anschauliche Erklärung für das Resultat.

1.16.9 Bsp. (Zufällige Anzahl der Summanden) Es seien X_{1}, …, X_{k} : (Ω, P) → ℝ Zufallsvariable mit gleichem Erwartungswert

E(X_{i}) = E(X_{j}) für (i, j = 1, …, k)

und N : (Ω, P) → {1, …, N} eine von (X_{1}, …, X_{k}) unabhängige ganzzahlige Zufallsvariable.

Man bilde die Summe

S := X_{1} + ⋯ + X_{N}

mit einer zufälligen Anzahl von Summanden. Dann gilt

E(S) = E(X_{1}) · E(N).

Beweis. Da X := (X_{1}, …, X_{k}) und N unabhängig sind, sind für festes n ∈ {1, …, k} auch

S_{n} := X_{1} + ⋯ + X_{n}

und N unabhängig (→ Satz 1.9.5). Also ist

P (S = s | N = n) = P ({S_{n} = s} | {N = n})

= P {S_{n} = s}.

Wir berechnen nun für n ∈ {1, …, k} die bedingte Erwartung

E(S | N = n) = ∑_{s∈(Ω)} sP (S = s | N = n)

= ∑_{s∈(Ω)} sP {S_{n} = s}

= E(S_{n}) = E(X_{1} + ⋯ + X_{n})

= E(X_{1}) + ⋯ + E(X_{n})

und da die E(X_{1}) = ⋯ = E(X_{N}) ist

= E(X_{1}) · n.

Es gilt also E(S|N) = E(X_{1})N. Nach Feststellung 1.16.5 ist

E(S) = E(E(S|N)) = E(X_{1}) · E(N).

1.17 Erwartungswert des Produktes

1.17.1 Satz (Produkt zweier unabhängiger ZV.) Gegeben sei ein endlicher W-Raum (Ω, P). Sind X, Y : Ω → ℝ unabhängige Zufallsvariable, so gilt

E(XY) = E(X) · E(Y)

Beweis. Man setze M := X(Ω), N := Y (Ω). Man zerlege den Raum Ω mit Hilfe der Zufallsvariablen (X, Y)

Ω = ⋃_{(x,y)∈M×N}{(X, Y) = (x, y)}

Auf jeder der Mengen {(X, Y) = (x, y)} ist das Produkt XY = xy konstant und folglich E(XY | (X, Y) = (x, y)) = xy. Aus der Formel für den totalen Erwartungswert folgt nun

E(XY) = ∑_{(x,y)∈M×N} E(XY | (X, Y) = (x, y))P {(X, Y) = (x, y)}

= ∑_{(x,y)∈M×N} xyP {(X, Y) = (x, y)}

und da X, Y unabhängig sind gilt nach Satz 1.9.3 (c)

= ∑_{(x,y)∈M×N} xyP {X = x} · P {Y = y}

= ∑_{x∈M} ∑_{y∈N} xP {X = x} · yP {Y = y}

= ∑_{x∈M} xP {X = x} · ∑_{y∈N} yP {Y = y}

= E(X) · E(Y).

1.17.2 Folg. (Produkt unabhängiger ZVn) Gegeben sei ein endlicher W-Raum (Ω, P). Sind X_{i} : Ω → ℝ, (i = 1, …, n) unabhängige Zufallsvariable, so gilt

E(∏_{i=1}^{n}) = ∏_{i=1}^{n} E(X_{i}).

Anmerkung. Man kann die Aussage über den Erwartungswert des Produktes zweier Zufallsvariabler auch folgendermaßen formulieren:

1.17.3 Bem. (bed. Erwart.-wert des Produktes) Gegeben sei ein endlicher W-Raum (Ω, P) Für X, Y : Ω → ℝ gilt

E(XY | Y) = E(X|Y) · Y.

Für unabhängige X, Y, ist P (E(X|Y) − E(X)) = 1 (→ Bemerkung 1.16.6) und folglich E(E(X|Y)) = E(X). Mit Feststellung 1.16.5 folgt nun

E(XY) = E(E(XY | Y)) = E(X) · E(Y).

Anmerkung. Die Menge der reellen Zufallsvariablen auf einem endlichen W-Raum (Ω, P) bilden einen reellen Vektorraum V der Dimension n = |Ω|. Ist Ω = {ω_{1}, …, ω_{n}}, so bilden die Indikatorfunktionen

1l_{{ω_{1}}}, …, 1l_{{ω_{n}}}

Eine Basis von V. Man jede reelle Zufallsvariable Xin der Form

X = ∑_{ν=1}^{n} X(ω_{ν})1l_{{ω_{ν} }}

schreiben. Bezeichnet man die Werte x_{ν} := X(ω_{ν}) so gilt X = ∑_{ν=1}^{n} x_{ν}1l_{{ω_{ν} }}. Das Tupel (x_{ν})_{ν=1}^{n} sind die Koordinaten von X ∈ V.

Auf dem Vektorraum ℝ^{n} verwendet man gerne das Standardskalarprodukt

x · y := ∑_{ν=1}^{n} x_{ν}y_{ν} für x = (x_{ν}), y = (y_{ν}) ∈ ℝ^{n}.

und die Norm

∥x∥ = \sqrt{∑_{ν=1}^{n} x_{ν}^{2}}^{1/2} = \sqrt{x · x}

Im ℝ^{3} ist ∥x − y∥ der übliche Euklidische Abstand der Punkte mit den Koordinaten x und y. Die Norm ist also der Abstand zum Nullpunkt. Man kann die Euklidische Geometrie des dreidimensionalen Anschauungsraumes mit Hilfe des Standardskalarproduktes und der Norm beschreiben. So stehen zwei Vektoren x, y genau dann senkrecht aufeinander, wenn das Standardskalarprodukt x · y = 0 ist. Ersetzt man die drei Dimensionen durch n-Dimensionen so erhält man eine naheliegende Verallgemeinerung.

Auf dem Vektorraum V verwendet man ein anderes ”Skalarprodukt“, daß besser mit dem W-Raum (Ω, P) harmoniert, aber sonst analoge Eigenschaften hat. Man nimmt den Erwartungswert des Produktes

E(XY) = ∑_{ν=1}^{n} X(ω_{ν})Y (ω_{ν})P {ω_{ν}} für X, Y ∈ V.

Damit kann man eigentlich genauso rechnen wie mit dem Standardskalarprodukt. An die Stelle der Norm tritt der Ausdruck

\sqrt{E(X^{2})},

für den man kein eigenes Symbol einführt. Dieses Skalarprodukt ermöglicht es mit Zufallsvariablen geometrisch zu argumentieren.

Man beachte aber, daß aus \sqrt{E(X^{2})} = 0 i.a. nicht X = 0 sondern nur P {X = 0} = 1 folgt.

1.17.4 Festst. (Eigenschaften von E(XY)) Die Funktion

V × V ∋ (X, Y) ↦ E(XY)

hat die folgenden Eigenschaften:

(i) linear in der ersten Variablen und symmetrisch

E((λ_{1}X_{1} + λ_{2}X_{2})Y) = λ_{1}E(X_{1}Y) + λ_{2}E(X_{2}Y)
E(XY) = E(Y X).

(ii) positiv semidefinit

E(X^{2}) ≥ 0 und E(X^{2}) = 0 ⇔ P {X = 0} = 1.

Man sagt kurz, E(XY) ist eine symmetrische positiv semidefinite Bilinearform. Wenn P {ω_{ν}} > 0 , (ν = 1, …, n), ist, dann ist die Funktion E(XY) positiv definit

E(X^{2}) ≥ 0 und E(X^{2}) = 0 ⇔ X = 0.

(iii) Es gilt die Schwarzsche Ungleichung

|E(XY)| ≤ \sqrt{E(X^{2})}\sqrt{E(Y^{2})}

und die Dreiecksungleichung

\sqrt{E((X + Y)^{2})} ≤ \sqrt{E(X^{2})} + \sqrt{E(Y^{2})}.

In der Schwarzschen Ungleichung gilt das Gleichheitszeichen genau dann, wenn es ein λ ∈ ℝ so gibt, daß

P {X = λY } = 1 oder P {λX = Y } = 1 (∗)

ist. In der Dreiecksungleichung gilt das Gleichheitszeichen genau dann, wenn es ein λ ≥ 0 gibt, so daß (∗) gilt.

1.18 Varianz und Kovarianz

Anmerkung. Man will in einer einzigen Zahl zusammenfassen, wie weit die Werte einer reellen Zufallsvariablen X um ihren Erwartungswert streuen. Dafür bieten sich im Prinzip verschiedene Abstandsbegriffe an, z. B. die durchschnittliche Abweichung:

E(|X − E(X)|) = ∑_{x∈X(Ω)}|x − E(X)|P {X = x}.  (1.18.1)

Für die durchschnittliche Abweichung gibt es aber wenig handhabbare Formeln.

Wegen der guten Eigenschaften, die aus der formalen Analogie zum euklidischen Abstand herrühren, bevorzugt man die Standardabweichung. Häufig ist es praktischer mit dem Quadrat der Standardabweichung, genannt die Varianz, zu rechnen.

1.18.1 Def. (Standardabweichung und Varianz) Es sei (Ω, P) ein endlicher W-Raum. Für X : (Ω, P) → ℝ definiert man

σ(X) := \sqrt{E((X − E(X))^{2})} (Standardabweichung) (1.18.2)

Var(X) := E((X − E(X))^{2})  (Varianz)  (1.18.3)

Um Klammern zu sparen, schreiben wir EX := E(X).

1.18.2 Bem. (Varianz eines W-Maßes) 1. Für ein ein W-Maß P auf einer endlichen Teilmenge Ω ⊂ ℝ definiert man den Mittelwert

μ(P) := ∑_{ω∈Ω} ωP {ω},  (1.18.4)

die Standardabweichung:

σ(P) := ( ∑ ω ∈ Ω(ω − μ)^{2}P {ω})^{1/2} (1.18.5)

und die Varianz:

Var(P) := ∑ ω ∈ Ω(ω − μ)^{2}P {ω}  (1.18.6)

2. Es ist μ = E(id_{Ω}), σ(P) = σ(id_{Ω}) und Var(P) = Var(id_{Ω}).

3. Erwartungswert, Standardabweichung und Varianz einer reellen Zufallsvariablen X hängen nur von der Verteilung P_{X} ab:

E(X) = μ(P_{X}), σ(X) = σ(P_{X}), Var(X) = Var(P_{X}).

1.18.3 Festst. (Rechenregeln: Varianz) Es seien (Ω, P) ein endlicher W-Raum und X, X_{1}, …, X_{n} reelle Zufallsvariable auf Ω. Es gilt

(i) Var(λX + b) = λ^{2} Var(X) für λ, a ∈ ℝ.

(ii) Var(X) = E(X^{2}) − (E(X)^{2}).

(iii) Sind X_{1}, …, X_{n} unabhängig, so gilt die Gleichung von Bienaymé:

Var(X_{1} + ⋯ + X_{n}) = Var(X_{1}) + … Var(X_{n}). (1.18.7)

Die Gleichung von Bienaymé (1.18.7) gilt allgemeiner, wenn X_{1}, …, X_{n} → unkorreliert sind. Es reicht z.B., daß sie paarweise unabhängig sind.

Beweis. (i) Es reicht, die Aussage für n = 2 zu zeigen.

Var(X_{1} + X_{2}) = E(((X_{1} − EX_{1}) + (X_{2} − EX_{2}))^{2})

= E((X_{1} − EX_{1})^{2}) + E((X_{1} − EX_{1}) · (X_{2} − EX_{2}))
+ E((X_{2} − EX_{2})^{2}).

Da ((X_{1} − EX_{1}) und (X_{2} − EX_{2}) unabhängig sind, folgt nach Satz 1.17.1

Var(X_{1} + X_{2}) = Var(X_{1}) + E(X_{1} − EX_{1}) · E(X_{2} − EX_{2})

+ Var(X_{2}) = Var(X_{1}) + Var(X_{2}).

1.18.4 Bsp. (Varianz einiger Verteilungen) (i) Ist X : (Ω, P) → {1, …, n} Laplace-verteilt, so gilt

Var(X) = \frac{n^{2} − 1}{12}.

(ii) Für eine Bernoulli-verteilte Zufallsvariable X mit Erfolgsparameter p gilt

Var(X) = p(1 − p).

(iii) Für eine Zufallsvariable X, die binomialverteilt mit den Parametern n, p ist, gilt

Var(X) = np(1 − p).

(iv) Für eine Zufallsvariable X, die hypergeometrisch verteilt ist mit den Parametern N, K, n ist, gilt

Var(X) = \frac{N − n}{N − 1}n\frac{K}{N} (1 − \frac{K}{N} ).

Anmerkung. In einer Urne mit K schwarzen Kugeln und N − K roten Kugeln ist p := \frac{K}{N} die Wahrscheinlichkeit, eine schwarze Kugel zu ziehen. Eine Stichprobe vom Umfang n mit Wiederholung aus der Urne ist die Anzahl der schwarzen Kugeln binomialverteilt mit Parameter n, p und in einer Stichprobe ohne Wiederholung ist die Anzahl der schwarzen Kugeln hypergeometrisch verteilt mit den Parametern N, K, n. In beiden Fällen hat man den gleichen Erwartungswert np = n \frac{K}{N}, aber die Varianz ist im hypergeometrischen Fall kleiner:

np(1 − p) < \frac{N − n}{N − 1} np(1 − p) für n = 2, …, N.

Im Extremfall n = N ist die Varianz der hypergeometrischen Verteilung 0, was klar ist, da man in diesem Fall mit Sicherheit alle schwarzen Kugeln zieht.

Beweis. (i) Ist X : (Ω, P) → {1, …, n} Laplace-verteil, so gilt

E(X^{2}) = ∑_{ν=1}^{n} ν^{2} \frac{1}{n}

= \frac{n(n + 1)(2n + 1)}{6} \frac{1}{n} = \frac{(n + 1)(2n + 1)}{6} .

Var(X) = E(X^{2}) − (E(X))^{2}

= \frac{(n + 1)(2n + 1)}{6} − ( \frac{n + 1}{2} )^{2}

= \frac{n^{2} − 1}{12} .

(ii) Da X^{2} = X ist, folgt aus Feststellung 1.18.3 (ii)

Var(X) = E(X^{2}) − (E(X)^{2}) = p − p^{2} = p(1 − p).

(iii) Für den Beweis benutzen wir das Standardmodell eines Bernoulli-Experimentes (→ Bezeichnung 1.8.8).

Es sei Ω := {1, 0} mit W-Maß P {1} := p, P {0} = 1 − p. Auf (Ω^{n}, P^{⊗n}) gibt die Zufallsvariablen

X(ω) = ∑_{i=1}^{n} pr_{i}(ω) = ∑_{i=1}^{n} ω_{i}

die Anzahl der Einsen in dem n-Tupel ω = (ω_{1}, …, ω_{n}) ∈ Ω^{n} an. Das Tupel (pr_{1}, …, pr_{n}) ist n-fach Bernoulli-verteilt mit dem Parameter p und folglich ist die Summe X binomialverteilt mit dem Parametern n und p (→ Beispiel 1.8.3). Aus Feststellung 1.18.3 (iii) folgt nun

Var(X) = ∑_{i=1}^{n} Var(pr_{i}) = np(1 − p).

(iv) → Übung.

1.18.5 Bsp. (Fixpunkte einer Permutation) Wir benutzen die Notation aus Beispiel 1.3.7 (Ω, P) sei der W-Raum der Permutationen von {1, …, n} mit der Laplace-Wahrscheinlichkeit. Für ν = 1, …, n sei

A_{ν} = {(σ_{1}, …, σ_{n}) ∈ Ω | σ_{ν} = ν}.

Es ist

P (A_{ν}) = \frac{(n − 1)!}{n!} = \frac{1}{n},

P (A_{μ} ∩ A_{ν}) = \frac{(n − 2)!}{n!} = \frac{1}{n(n − 1)} (μ ≠ ν).

Die Zufallsvariable

X := ∑_{ν=1}^{n} 1l_{A_{ν}}

beschreibt die Anzahl der Fixpunkte einer Permutation. Der Erwartungswert von X ist

E(X) = ∑_{ν=1}^{n} E(1l_{A_{ν}}) = n\frac{1}{n} = 1.

Wir berechnen die Varianz mit der Formel Var(X) = E(X^{2}) − (E(X))^{2}. Es gilt

E(X^{2}) = E( ∑_{ν=1}^{n}(1l_{A_{ν}}^{2} ))

= ∑_{ν=1}^{n} E(1l_{A_{ν}}^{2} ) + 2 ∑_{1≤μ<ν≤n} E(1l_{A_{μ}}1l_{A_{ν}})

= ∑_{ν=1}^{n} P (A_{ν}) + 2 ∑_{1≤μ<ν≤n} P (A_{μ} ∩ A_{ν})

= n\frac{1}{n} + 2\binom{n}{2}\frac{1}{n(n − 1)} = 1 + 1 = 2.

Also ist Var(X) = 2 − 1 = 1. Weder Erwartungswert noch Varianz hängen von n ab.

Anmerkung. Die Varianz erhält man, wenn man in der symmetrischen Bilinearform

(X, Y) ↦ E((X − EX) · (Y − EY))

X = Y setzt. Diese Bilinearform heißt die Kovarianz von X.

1.18.6 Bez. (Kovarianz) Es seien (Ω, P) ein endlicher W-Raum und X, Y reelle Zufallsvariable auf (Ω, P).

(i) Die Kovarianz von X und Y bezeichnet man mit

Cov(X, Y) := E((X − EX) · (Y − EY)).

Die Kovarianz Cov(X, Y) hängt nur von der gemeinsamen Verteilung von (X, Y) ab.

(ii) Es gilt

Cov(X, Y) = E(XY) − E(X)E(Y).

1.18.7 Festst. (Regeln: Kovarianz) (i) Die Kovarianz ist eine symmetrische, positiv semidefinite Bilinearform. Es gilt also:

Cov(λ_{1}X_{1} + λ_{2}X_{2}, Y) = λ_{1} Cov(X_{1}, Y) + λ_{2} Cov(X_{2}, Y),

Cov(X, Y) = Cov(Y, X) Cov(X, X) = Var(X) ≥ 0.

(ii) Es gilt die Schwarzsche Ungleichung

|Cov(X, Y)| ≤ σ(X) σ(Y).

(iii) und die Dreiecksungleichung

σ(X + Y) ≤ σ(X) + σ(Y).

1.18.8 Bem. (Summen unkorrelierter ZVn) Für reelle Zufallsvariable X_{1}, …, X_{n} : (Ω, P) → ℝ gilt:

(i) Es gilt

Var(∑_{ν=1}^{n} X_{ν}) = ∑_{ν=1}^{n} Var(X_{ν}) + 2 ∑_{1≤μ<ν≤n} Cov(X_{μ}, X_{ν}).

(ii) Sind X_{1}, …, X_{n} paarweise unkorreliert; d.h.

Cov(X_{μ}, X_{ν}) = 0 für μ ≠ ν,

dann gilt die Gleichung von Bienaymé:

Var(X_{1} + ⋯ + X_{n}) = Var(X_{1}) + ⋯ + Var(X_{n}).

(iii) Sind X_{1}, …, X_{n} paarweise unkorreliert, so gilt für die Standardabweichung des arithmetischen Mittels \frac{1}{n} ∑_{ν=1}^{n} X_{ν}

σ (\frac{1}{n} ∑_{ν=1}^{n} X_{ν}) = \frac{σ(X_{1})}{\sqrt{n}}.

Geometrisch gesehen, ist der Fall (ii) der Satz von Pythagoras: Das Verschwinden der Kovarianz bedeutet, daß (X_{μ} − EX_{μ}) ⊥ (X_{ν} − EX_{ν}) für μ ≠ ν ist. Die Varianz ist das Quadrat der Länge von X_{ν} − EX_{ν}.

1.18.9 Bsp. (Varianz von Serien) Wir benutzen die Bezeichnungen von Beispiel 1.15.5. (Z_{0}, Z_{1}, …, Z_{n}) sind n + 1-fach Bernoulli-verteilt mit Parameter p.

S_{i} := 1l_{{Z_{i}≠Z_{i−1}}} für i = 1, …, n

sind Bernoulli-verteilt mit Parameter 2p(1−p). Da S_{i}, S_{k} für i ≤ i + 2 ≤ k unabhängig sind (→ (→ Satz 1.9.5), ist

Cov(S_{i}, S_{k}) = 0 für i ≤ i + 2 ≤ k.

Da

E(1l_{{Z_{i}≠Z_{i−1}}}1l_{{Z_{i+1}≠Z_{i}}} = p^{2}(1 − p) + p(1 − p)^{2}

ist

Cov(S_{i}.S_{i+1}) = E(S_{i}S_{i+1}) − E(S_{i}) E(S_{i+1})

= p^{2}(1−p)+p(1−p)^{2}−4p^{2}(1−p)^{2} = p(1−p)(1−4p(1−p))

Da S_{i}^{2} = S_{i} ist, folgt

Var(S_{i}) = E(S_{i}^{2}) − (E(S_{i}))^{2}

= 2p(1 − p) − 4p^{2}(1 − p)^{2} = 2p(1 − p)(1 − 2p(1 − p))

Mit Bemerkung 1.18.8 (i) erhalten wir nun die Varianz der Wechselsumme

Var(Y) = Var(∑_{i=1}^{n} S_{i})

= ∑_{i=1}^{n} Var(S_{i}) + ∑_{i=1}^{n−1} Cov(S_{i}, S_{i+1})

= 2np(1−p)(1−2p(1−p))+2(n−1)(p(1−p)(1−4p(1−p)).

Da die Varianz translationsinvariant ist (→ Feststellung 1.18.3 (i) ist die Varianz der Anzahl X = Y + 1 der Serien

Var(X) = Var(Y).

Anmerkung. Die Korrelation ist eine Kennzahl dafür, in wie weit X und Y einer linearen Relation genügen.

1.18.10 Bez. (Korrelation) Für reelle Zufallsvariable X, Y : (Ω, P) → ℝ mit positiver Variation V Var(X) > 0, Var(Y) > 0 definiert man die Korrelation

cor(X; Y) := \frac{Cov(X, Y)}{σ(X) σ(Y)}.

Aus der Schwarzschen Ungleichung für die Kovarianz (→ Feststellung 1.18.7 (ii)) folgt

−1 ≤ cor(X, Y) ≤ 1.

1.18.11 Bem. Es seinen X, Y : (Ω, P) → ℝ reelle Zufallsvariable.

(i) sind die folgenden Aussagen äquivalent:

(a) cor(X, Y) ∈ {−1, 1}.

(b) In der Schwarzschen Ungleichung für die Kovarianz gilt das Gleichheitszeichen:

|Cov(X, Y)| = σ(X) σ(Y).

(c) Es gibt ein λ ∈ ℝ so, daß

P (λ(X − EX) − (Y − EY)) = 1

oder

P (λ(Y − EY) − (X − EX)) = 1.

ist. D.h., die Zufallsvariablen X − EX und Y − EY sind ”mit Wahrscheinlichkeit 1“ linear abhängig.

(d) Es gibt Konstanten α, β, γ ∈ ℝ derart, daß

P (αX + βY + γ = 0) = 1

ist.D.h., die Punkte {(X(ω), Y (ω) | ω ∈ Ω} liegen mit ”mit Wahrscheinlichkeit 1“ auf einer Geraden.

(ii) Sind X, Y unabhängig, so ist cor(X, Y) = 0, d.h., unabhängige Zufallsvariable sind linear unabhängig. Die Umkehrung gilt i.a. nicht!

Anmerkung. Im Feststellung 1.17.4 hatten wir gesehen, daß der Ausdruck

X ↦ \sqrt{E(X^{2})}

analoge Eigenschaften hat, wie der Euklidische Abstand. Die Standardabweichung gibt also den Abstand einer reellen Zufallsvariablen zu der Konstanten E(X) an. Fragt man umgekehrt nach der Konstanten, die den Abstand zu X minimiert, so erhält man den Erwartungswert E(X).

1.18.12 Festst. (Minimaleigenschaft des EW) Es seien (Ω, P) ein endlicher W-Raum und X eine reelle Zufallsvariable auf Ω. Dann gilt für a ∈ ℝ:

E((X − a)^{2}) = Var(X) + (E(X) − a)^{2}.

Der Abstand \sqrt{E((X − a)^{2})} wird also minimal für a := E(X).

Beweis.

E((X − a)^{2}) = E(X^{2} − 2aX + a^{2})

= E(X^{2}) − 2a EX + a^{2} = E(X^{2}) − (EX)^{2} + (a − EX)^{2} = E((X − EX)^{2}) + (a − EX)^{2} = Var(X) + (a − EX)^{2}.

Anmerkung. Der Erwartungswert EX minimiert die durchschnittliche quadratische Abweichung E((X −a)^{2}) von einer Konstanten a. Sucht man statt dessen das Minimum der durchschnittlichen Abweichung E(|X − a|), so wird man einen anderen ”mittleren Wert“ von X geführt, den Median.

1.19 Bedingte Varianz

1.19.1 Bem. (bedingte Varianz) Da E(X | Y = y) := E_{P (.|{Y =y})} der Erwartungswert bezgl. der bedingten Verteilung P (.|{Y = y}) ist, gelten für E(X | Y = y) und somit auch für

Var(X | Y = y) := E_{P (.|Y =y)}((X − E(X | Y = y))^{2})

= E((X − E(X | Y = y))^{2} | Y = y).

alle Rechenregeln einer Varianz.

(i) Man definiert die bedingte Varianz

Var(X | Y) = E((X − E(X|Y) ∘ Y)^{2} | Y ).

(ii) Insbesondere gilt

Var(X) = E( Var(X|Y)) + Var(E(X|Y)). (1.19.1)

Beweis. Nach Feststellung 1.18.3 (ii) ist

E((X−EX)^{2} | Y = y) = Var(X | Y = y)+(E(X | Y = y)−EX)^{2} Mit der Gleichung vom totalen Erwartungswert (→ Feststellung 1.16.5) folgt nun

Var(X) = E(E((X − EX)^{2} | Y ))
= E( Var(X|Y)) + E((E(X|Y) − EX)^{2})
= E( Var(X|Y)) + E((E(X|Y) − E(E(X|Y)))^{2})
= E( Var(X|Y)) + Var (E(X|Y)).

1.19.2 Bsp. (Zufällige Anzahl der Summanden) Es seien X_{1}, …, X_{k} unkorrelierte reelle Zufallsvariable mit gleichen Erwartungswert und gleicher Varianz. Mit einer von X_{1}, …, X_{k} unabhängigen Zufallsvariablen N mit Werten in {1, …, k} bilde man die Summe S := X_{1} + ⋯ + X_{N}. Dann gilt

Var(S) = Var(X_{1})E(N) + E(X_{1})^{2} Var(N).

Beweis. Nach Beispiel 1.16.9 ist E(S|N) = E(X_{1})N. Da die X_{1}, …, X_{n} paarweise unkorreliert sind, folgt

Var(S | N = n) = Var(S_{n}|N = n) = Var(S_{n})
= Var(X_{1}) + … Var(X_{n}) = n Var(X_{1})

und somit Var(S|N) = Var(X_{1})N. Nach Gleichung (1.19.1) ist

Var(S) = E(Var(S|N)) + Var(E(S|N))
= Var(X_{1})E(N) + (EX_{1})^{2} Var(N)

1.19.3 Festst. (Minimal. der bed. Erwartung) Gegeben seien ein endlicher W-Raum (Ω, P), eine endliche Menge M und Zufallsvariable

X : (Ω, P) → ℝ und Y : (Ω, P) → M.

Man suche unter allen Zufallsvariablen der Form

Z ∘ Y, wobei Z : M → ℝ,

diejenige, die die mittlere quadratische Abweichung

E((X − Z ∘ Y)^{2})

minimiert. Die Bestapproximation in diesem Sinne ist Z = E(X|Y).

Beweis. Aus

E(X − Z ∘ Y | Y = y) = E(X − Z(y) | Y = y)

= E(X | Y = y) − Z(y)

folgt E(X − Z ∘ Y | Y) = E(X|Y) − Z.

Da nach Feststellung 1.18.3 (i)

Var(X−Z∘Y | Y = y) = Var(X−Z(y) | Y = y) = Var(X | Y = y)

ist, folgt mit Feststellung 1.18.3 (ii)

E((X − Z ∘ Y)^{2} | Y = y)

= Var(X − Z ∘ Y | Y = y) + (E(X − Z ∘ Y | Y = y))^{2}

= Var(X | Y = y) + (E(X | Y = y) − Z(y))^{2}.

Es gilt also

E((X − Z ∘ Y)^{2} | Y) = Var(X|Y) + (E(X|Y) − Z)^{2}

Mit der Gleichung vom totalen Erwartungswert (→ Feststellung 1.16.5) folgt nun

E((X − Z ∘ Y)^{2}) = E(E((X − Z ∘ Y)^{2} | Y))

= E( Var(X|Y)) + E((E(X|Y) − Z ∘ Y )^{2})

Die rechte Seite wird minimal für Z = E(X|Y).

1.20 Schwaches Gesetz der großen Zahl

Anmerkung. Die Chebychev-Ungleichung gibt eine einfache Abschätzung für die Wahrscheinlichkeiten der Abweichung einer Zufallsvariablen von ihrem Erwartungswert. Der Beweis wird übersichtlicher, wenn man die Chebychev-Ungleichung auf die Markov-Ungleichung zurückführt.

Die erstere heißt auch die Chebychev-Bienaymé-Ungleichung. Man findet die folgenden Schreibweisen: Chebychev= Čebyšev = Tschebyschev.

Diese beiden Ungleichungen sind trotz ihrer einfachen Bauart und Herleitung erstaunlich wirkungsvoll. Für spezielle W-Maße gibt es schärfere Abschätzungen, die aber mehr Voraussetzungen erfordern. Die Markov-Ungleichung und die Chebychev-Ungleichung gelten für jedes W-Maß

1.20.1 Lemma (Markov-Ungleichung) Es sei (Ω, P) ein endlicher W-Raum. Für X : (Ω, P) → [0, ∞) gilt

P \{X ≥ c\} ≤ \frac{E(X)}{c} für c > 0.

Beweis. Für die Indikatorfunktion von {X ≥ c} gilt

1l_{\{X≥c\}} ≤ \frac{X}{c} .

Aus der Monotonie und der Linearität des Erwartungswertes (→ Feststellung 1.15.4) folgt somit

P \{X ≥ c\} = E(1l_{\{X≥c\}}) ≤ E( \frac{X}{c} ) = \frac{E(X)}{c} .

Anmerkung. Etwas allgemeiner ist die folgende Variante der Markov-Ungleichung, die man ebenso beweist.

1.20.2 Lemma (Markov-Ungleichung) Ist φ : [0, ∞) → [0, ∞) monoton wachsend, 0 < c mit φ(c) > 0, so gilt für jede reelle Zufallsvariable X

P \{|X| ≥ c\} ≤ \frac{E(φ(|X|)}{φ(c)}.

1.20.3 Satz (Chebychev-Ungleichung) Es sei (Ω, P) ein endlicher W-Raum. Für eine Zufallsvariable X : (Ω, P) → ℝ gilt

P \{|X − E(X)| ≥ ε\} ≤ \frac{Var(X)}{ε^{2}} für ε > 0.

Anmerkung. Man nennt die Konstante in der Chebychev-Ungleichung üblicherweise ε > 0, weil man die Ungleichung für kleine ε verwendet. Was im konkreten Fall klein bedeutet, hängt von der Streuung von X ab. Man schreibt die Chebychev-Ungleichung deshalb häufig in der Form (c > 0):

P \{|X − E(X)| ≥ c σ(X)\} ≤ \frac{1}{c^{2}} .  (1.20.1)

oder

P \{|X − E(X)|^{2} ≥ c Var(X)\} ≤ \frac{1}{c} .  (1.20.2)

Bsp. (Chebychev-Ungl. für binomialverteilte ZV) Aus der Chebychev-Ungleichung folgt für eine beliebige Zufallsvariable X:

P \{|X − E(X)| ≥ 2 σ(X)\} ≤ \frac{1}{4} = 0, 25.

Für eine binomialverteilte Zufallsvariable X ergibt eine genauere Rechnung, daß für große n

P {|X − E(X)| ≥ 2 σ(X)} ≈ 0.05

ist. Anmerkung. Wendet man die Chebychev-Ungleichung auf das

arithmetische Mittel frac1n ∑_{ν=1}^{n} X_{ν} paarweise unkorrelierter Zufallsvariablen X_{1}, …, X_{n} an, die alle den gleichen Erwartungswert und die gleiche Varianz σ^{2} haben so erhält man mit Bemerkung 1.18.8 (iii) den folgenden Satz. Man beachte, daß das arithmetische Mittel eine um den Faktor \frac{1}{n} kleinere Varianz hat

Var ( \frac{1}{n} ∑_{ν=1}^{n} X_{ν}) = \frac{σ^{2}}{n} .

1.20.4 Festst. (schwaches Gesetz der großen Zahl) Es seien (Ω, P) ein endlicher W-Raum und X_{1}, …, X_{n} : (Ω, P) → ℝ paarweise unkorrelierte Zufallsvariable mit

Var(X_{ν}) ≤ M für ν = 1, …, n.

Dann gilt für alle ε > 0

P \{|\frac{1}{n} ∑_{ν=1}^{n}(X_{ν} − EX_{ν})| ≥ ε\} ≤ \frac{M}{nε^{2}} .

Haben überdies X_{1}, …, X_{n} alle den gleichen Erwartungswert μ := E(X_{ν}), (ν = 1, …, n) so gilt

P \{|\frac{1}{n} ∑_{ν=1}^{n} X_{ν} − μ|\} ≥ ε\} ≤ \frac{M}{nε^{2}} .  (1.20.3)

Anmerkung. (schwaches Gesetz der großen Zahl) Der obige Feststellung 1.20.4 ist eigentlich eine Vorstufe des schwachen Gesetzes der großen Zahl. Dies erhält man. wenn man in Gleichung (1.20.3) die Anzahl n der Zufallsvariablen gegen ∞ gehen läßt:

lim_{n→∞} P \{| \frac{1}{n} ∑_{ν=1}^{n} X_{ν} − μ|\} ≥ ε\} = 0.  (1.20.4)

Im Spezialfall von Indikatorvariablen fallen die Begriffe unkorreliert und unabhängig zusammen. Man erhält somit das Ergebnis von Jakob Bernoulli (≈ 1865):

Satz. (J. Bernoulli) Für eine Folge A_{1}, A_{2}, … unabhängiger Ereignisse mit gleicher Wahrscheinlichkeit p = P (A_{n}) gilt

lim_{n→∞} P \{| \frac{1}{n} ∑_{ν=1}^{n} 1l_{A_{ν}} − p|\} ≥ ε\} = 0.  (1.20.5)

Durch Übergang zu der komplementären Menge folgt.

lim_{n→∞} P \{| \frac{1}{n} ∑_{ν=1}^{n} 1l_{A_{ν}} − p|\} < ε\} = 1.  (1.20.6)

Deutet man dies als eine Folge unabhängiger Wiederholungen desselben Zufallsexperimentes, und die unabhängigen Ereignisse A_{n} als das Eintreten des Ergebnisses A im n-ten Versuch, so wird die relative Häufigkeit R_{n}(A), mit der das Ereignis A eintritt, durch die folgende Formel gegeben:

R_{n}(A) = \frac{1}{n} ∑_{ν=1}^{n} 1l_{A_{ν}} .

Die Gleichung (1.20.6) lautet nun

lim_{n→∞} P {|R_{n}(A) − P (A)| < ε} = 1.  (1.20.7)

Die Wahrscheinlichkeit, daß sich in einer Folge unabhängiger Bernoulli-Experimente mit Parameter p die relative Häufigkeit R_{n} der Erfolge von dem Parameter p um weniger als ein beliebig kleines ε > 0 unterscheidet, konvergiert gegen Eins. Die axiomatische W-Theorie enthält und bestätigt die empirisch Beobachtung, daß man die Wahrscheinlichkeit durch relative Häufigkeiten langer Ketten von unabhängigen Experimenten beliebig genau approximieren kann.

Wir wollen dies mit den Mitteln der bisher entwickelten Theorie endlicher W-Räume nochmal genauer formulieren:

1.20.5 Festst. (G. der gr. Z. für rel. Häufigkeit.) Es sei (Ω, P) ein endlicher W-Raum. Für A ∈ 2^{Ω} gilt

P^{⊗n}\{(ω_{1}, …, ω_{n}) ∈ Ω^{n} | |\frac{1}{n} ∑_{ν=1}^{n} 1l_{A}(ω_{ν}) − P (A)| ≥ ε\}

≤ \frac{1}{4nε^{2}} .

Beweis. Die Zufallsvariablen (ν = 1, …, n)

X_{ν} : (Ω^{n}, P^{⊗n}) → {1, 0},
X_{ν} : (ω_{1}, …, ω_{n}) ↦ 1l_{A}(ω_{ν})

sind unabhängig und Bernoulli-verteilt mit Parameter p = P (A). Es ist E(X_{ν}) = p und Var(X_{ν}) = p(1 − p) ≤ \frac{1}{4} . Nach der Chebychev-Ungleichung ist

P^{⊗n}\{| \frac{1}{n} ∑_{ν=1}^{n} X_{ν} − p| ≥ ε\} ≤ \frac{1}{4nε^{2}} .

Anmerkung. (Problem) Nur reicht die bisher entwickelte Theorie endlicher W-Räume nicht aus, um den Grenzübergang n → ∞ in den Gleichungen (1.20.4) – (1.20.7) zu vollziehen. Das Problem ist, daß es auf einem endlichen W-Raum niemals eine Folge paarweise unkorrelierter reeller Zufallsvariabler gibt.

Beweis. Das kann man folgendermaßen einsehen. Wenn |Ω| = n, so hat der Vektorraum V der reellen Zufallsvariablen auf Ω = {ω_{1}, …, ω_{n}} die Dimension n. Man kann ohne Einschränkung annehmen daß p_{ν} := P {ω_{ν}} > 0 ist. Dann ist E(XY) ein positiv definites Skalarprodukt auf V (→ Feststellung 1.17.4 (ii)). Eine Familie (Y_{i})_{i∈I} von Vektoren Y_{i} ∈ V, die paarweise orthogonal sind

E(Y_{i}Y_{j}) = 0 für i ≠ j,

ist linear unabhängig. Folglich enthält die Familie höchstens n Elemente. Somit hat jede Familie paarweise unkorrelierter reeller Zufallsvariabler höchsten n Elemente.

Anmerkung. (abzählbar viele Teilexperimente) Die Lösung dieses Problems bieten unendliche W-Räume mit nichtdiskreten W-Maßen, wie man sie auch bei geometrische Wahrscheinlichkeitsaufgaben findet. Bevor diese allgemeineren W-Räume zur Verfügung stehen, verabreden wir folgende Konvention zum Umgang mit abzählbaren Folgen von Zufallsvariablen:

Wir betrachten eine Folge (E_{n})_{n∈ℕ} von Zufallsexperimenten, von denen jedes nur endlich viele Ausgänge hat. Für jedes n ∈ ℕ bildet man einen endlichen W-Raum (Ω_{n}, P_{n}), der die ersten n Teilexperimente E_{1}, …, E_{n} modelliert. Die Elementareignisse in Ω_{n} sind die möglichen Ergebnisse ω := (ω_{1}, …, ω_{n}) der ersten n Teilexperimente.

Das System Ω_{1}, …, Ω_{n} bildet einen Ereignisbaum, in dem die Knoten der Tiefe ν die Menge Ω_{ν} sind, mit den Übergangswahrscheinlichkeiten

p(ω_{ν+1} | ω_{1}, …, ω_{ν}) := \frac{P_{ν+1}\{(ω_{1}, …, ω_{ν+1}\})}{P_{ν}\{(ω_{1}, …, ω_{ν})\}} .

(→ Bezeichnung 1.13.1)

Zu jedem Elementarereignis (ω_{1}, …, ω_{n+1}) in Ω_{n+1} bildet man das entsprechende Elementarereignis (ω_{1}, …, ω_{n}) in Ω_{n}, indem man das n+1-te Ergebnis wegläßt. Dies definiert eine Projektion pr_{n} : Ω_{n+1} → Ω_{n} und es gilt

P_{n+1}{ω | pr_{n+1}(ω) = (ω_{1}, …, ω_{n})} = P_{n}{(ω_{1}, …, ω_{n})}.

D.h. P_{n} ist die Bildverteilung von pr_{n+1}. Induktiv folgt dann, daß P_{n} die Bildverteilung von pr_{n+1} ∘ pr_{n+2} ∘ ⋯ ∘ pr_{n+k} ist. (→ Feststellung 1.13.5).

Konvention. Unter einer Folge (X_{n})_{n} von reellen Zufallsvariablen verstehen wir das folgende: Die n-te Zufallsvariable ist eine reelle Funktion auf dem n-ten Raum:

X_{n} : (Ω_{n}, P_{n}) → ℝ.

Die Werte von X_{n} hängen nur von (ω_{1}, …, ω_{n}) ab.

Man bezeichnet dies als eine Folge von Zufallsvariablen auf einem projektiven System von W-Räumen.

1.20.6 Bez. (Folgen von ZVn auf proj. System) 1. Ein projektives System ist eine Folge von endlichen W-Räumen (Ω_{n}, P_{n}), (n ∈ ℕ), die durch Zufallsvariablen

pr_{n} : Ω_{n+1} → Ω_{n}

so verbunden sind, daß P_{n} die Bildverteilung von pr_{n} ist:

(P_{n+1})_{pr_{n}} = P_{n}.

2. Eine Folge von Zufallsvariablen des projektiven Systems

X_{n} := (Ω_{n}, P_{n}) → ℝ für n ∈ ℕ

nennt man kurz eine Folge (X_{n})_{n} von reellen Zufallsvariablen.

3. Man kann X_{n} als Zufallsvariable auf einem der höheren Räume Ω_{n+k} betrachten, indem man die passenden Projektionen davorschaltet:

X_{n}^{(n+k)} := X_{n} ∘ pr_{n+1} ∘ pr_{n+2} ∘ ⋯ ∘ pr_{n+k}

Es sei X_{n}^{n} := X_{n}.

4. X_{n}^{(n+k)} hat die gleiche Verteilung wie X_{n}, also den gleichen Erwartungswert E(X_{n}) und die gleiche Varian Var(X_{n}).

5. X_{1}, … X_{n} heißen unabhängig, wenn X_{1}^{(n)}, …, X_{n}^{(n)} unabhängig sind.

Dann sind natürlich auch X_{1}^{(n+k)}, …, X_{n}^{(n+k)} unabhängig (→ Definition 1.9.2 und Feststellung 1.6.4).

6. Die Folge (X_{n})_{n} heißt unabhängig, wenn jeder endliche Abschnitt X_{1}, …, X_{n} unabhängig ist.

7. X_{1}, … X_{n} heißen paarweise unkorreliert, wenn X_{1}^{(n)}, …, X_{n}^{(n)} paarweise unkorreliert sind.

Dann sind natürlich auch X_{1}^{(n+k)}, …, X_{n}^{(n+k)} paarweise unkorreliert.

8. Im allgemeinen läst man die obigen Indizes weg und schreibt kurz X_{n} statt X_{n}^{(n+k)}. In diesem Sinne verstehen wir unter dem arithmetischen Mittel von X_{1}, …, X_{n} die Summe

S_{n} := \frac{1}{n} ∑_{ν=1}^{n} X_{ν} := \frac{1}{n} ∑_{ν=1}^{n} X_{ν}^{(n+k)}  (1.20.8)

für irgend ein k ∈ ℕ_{0}.

Genauer gesagt, bilden die arithmetischen Mittel eine Folge von Zufallsvariablen S_{n} : (Ω_{n}, P_{n}) → ℝ und die rechte Seite der Gleichung (1.20.8) definiert die entsprechende Variable S_{n}^{(n+k)}.

9. Ebenso lassen wir den Index n, der das Modell angibt, bei der Bildung der Wahrscheinlichkeit weg und schreiben kurz P statt P_{n}. Für ein Ereignis A ∈ 2^{Ω_{n}} ist also

P (A) := P_{n}(A) = P_{n+k}{pr_{n+1} ∘ ⋯ ∘ pr_{n+k} ∈ A}

Aus Feststellung 1.20.4 folgt sofort:

1.20.7 Satz (schwaches Gesetz der großen Zahl) Es seien (Ω_{n}, P_{n}, pr_{n}) ein projektives System und (X_{n})_{n∈ℕ} eine Folge paarweise unkorrelierter Zufallsvariabler auf dem System mit gleichen Erwartungswert μ := E(X_{n}) und beschränkter Varianz Var(X_{n}) ≤ M < ∞ für alle n ∈ ℕ. Dann gilt

P \{|\frac{1}{n} ∑_{ν=1}^{n} X_{ν} − μ| ≥ ε\} ≤ \frac{M}{ε^{2}n} → 0 für n → ∞.

1.20.8 Bsp. (Ein vorteilhaftes Spiel?) Ein Spiel heißt fair, wenn der Erwartungswert des Gewinns gleich dem Erwartungswert des Verlustes ist. Ist der Erwartungswert des Gewinns größer als der Erwartungswert des Verlustes, so heißt das Spiel vorteilhaft. Das folgende Beispiel zeigt, daß man auch bei einem vorteilhaften mit beliebig großer Wahrscheinlichkeit sein gesamtes Kapital verlieren kann.

Der Spieler begint mit einem Startkapital K_{0} = 1 und hat nach n Runden das Kapital X_{n}. In jeder Runde wird eine faire Münze geworfen. Das Kapital in der n-ten Runde sei

X_{n} := \begin{cases}\frac{1}{2}X_{n}, & wenn Kopf fällt, \\ \frac{5}{3}X_{n}, & wenn Zahl fällt. \end{cases}

Setzt man

Y_{n} := \begin{cases}\frac{1}{2}, & wenn Kopf fällt, \\ \frac{5}{3}, & wenn Zahl fällt, \end{cases}

so gilt X_{n} = Y_{1} ⋯ Y_{n}K_{0}. Die (Y_{n})_{n} sind unabhängig und haben alle den gleichen Erwartungswert

E(Y_{n}) = \frac{1}{2}P \{Kopf\} + \frac{3}{5}P \{Zahl\} = (\frac{1}{2} + \frac{3}{5})\frac{1}{2} = \frac{13}{10}.

Nach Folgerung 1.17.2 ist

E(X_{n}) = E(Y_{1}) ⋯ E(Y_{n})K_{0} = (\frac{13}{10})^{n}K_{0} → ∞.

Das Spiel sieht also sehr vorteilhaft aus. Aber wie entwickelt sich das Kapital? Dazu bilden wir

\frac{1}{n} log X_{n} = \frac{1}{n} ∑_{ν=1}^{n} log Y_{ν}

und wenden hierauf das schwache Gesetz der großen Zahl an. Mit μ = E(log Y_{n}), σ^{2} = Var(Y_{n}) für n ∈ ℕ gilt

P \{|\frac{1}{n} ∑_{ν=1}^{n} log Y_{ν} − μ| ≥ ε\} ≤ \frac{σ^{2}}{nε} → 0.

Nun ist aber μ = \frac{1}{2}(log \frac{1}{2} + log \frac{3}{5}) < 0. Für ε := −\frac{1}{2}μ folgt daher

P \{X_{n} ≤ e^{nμ/2}\} = P \{\frac{1}{n} log X_{n} ≤ \frac{μ}{2}\}

= P \{\frac{1}{n} log X_{n} − μ ≤ −\frac{μ}{2}\}

≥ P \{|\frac{1}{n} log X_{n} − μ| ≤ −\frac{μ}{2}\}

= 1 − P \{|\frac{1}{n} ∑_{ν=1}^{n} log Y_{ν} − μ| ≥ ε\}

→ 1 für n → ∞.

Da μ < 0 ist, strebt e^{nμ/2} exponentiell schnell gegen 0 für n → ∞. Für große n hat man also mit sehr großer Wahrscheinlichkeit sein Kapital nahezu verspielt. Der Erwartungswert E(X_{n}) ist dagegen sehr groß, da man mit wenn auch sehr kleiner Wahrscheinlichkeit enorme Gewinne machen kann.

Anmerkung. (starkes Gesetz der großen Zahl) Das starke Gesetz der großen Zahl können wir mit den bisherigen Hilfmitteln nicht adäquat formulieren. Wir leiten schon mal das entscheidende Lemma her, aus dem das starke Gesetz der großen Zahl dann leicht folgt.

Als Beispiel denken wir uns ein und dasselbe Experiment E immer wieder unabhängig durchgeführt. Man modelliere E mit dem W-Raum (Ω, P) und die n-malige Durchführung von E mit dem Produktraum (Ω^{n}, P^{⊗n}). Dann beschreibt das projektive System (Ω^{n}, P^{⊗n}, pr_{n}) die nicht abbrechende Folge der unabhängigen Wiederholungen von E. Für eine Zufallsvariable X : (Ω, P) → ℝ definiert

X_{n} : (ω_{1}, …, ω_{n}) ↦ X(ω_{n})

eine Folge unabhängiger, identisch verteilter Zufallsvariabler (→ Satz 1.8.7) Für eine solche Folge kann man das schwache Gesetz dergGroßen Zahl wesentlich verschärfen:

1.20.9 Lemma Es seien (Ω_{n}, P_{n}, pr_{n}) ein projektives System und (X_{n})_{n∈ℕ} eine Folge unabhängiger, identisch verteilter Zufallsvariabler auf dem System. Es sei μ := E(X_{n}), (n ∈ ℕ). Dann gibt es eine Konstante 0 < C < ∞ so, daß

P \{| \frac{1}{n} ∑_{ν=1}^{n} X_{ν} − μ| ≥ ε\} ≤ \frac{C}{ε^{4}n^{2}} für n → ∞.

Man beachte: Die Wahrscheinlichkeit geht wie n^{−2} gegen Null. Dagegen ist im schwachen Gesetz der großen Zahl die Konvergenzschwindigkeit wir n^{−1}

Beweis. Zur Abkürzung setzen wir Y_{n} = X_{n} − μ, so daß E(Y_{n}) = 0 ist. Die (Y_{n})_{n} sind ebenfalls unabhängig und identisch verteilt. Da für paarweise verschiedene i, j, k, l

E(Y_{i}Y_{j}Y_{k}Y_{l}) = E(Y_{i}^{2}Y_{j}Y_{k}) = E(Y_{i}^{3}Y_{j}) = 0,
E(Y_{i}^{2}Y_{j}^{2}) = E(Y_{i}^{2})E(Y_{j}^{2})

gilt, folgt

E( \frac{1}{n} ∑_{ν=1}^{n} Y_{ν})^{4} = \frac{1}{n^{4}} ∑_{1≤i,j,k,l≤n} E(Y_{i}Y_{j}Y_{k}Y_{l})

= \frac{6}{n^{4}} ∑_{1≤i≤j≤n} E(Y_{i}^{2}Y_{j}^{2}) + \frac{1}{n^{4}} ∑_{i=1}^{n} E(Y_{i}^{4})

= n(n − 1) \frac{6}{n^{4}} (E(Y_{1}^{2}))^{2} + n \frac{1}{n^{4}} E(Y_{1}^{4})

≤ \frac{C}{n^{2}} .

Da die (Y_{n})_{n} identisch verteilt sind, hängt die Konstante C nicht von n ab. Mit der Markov-Ungleichung erhalten wir hieraus

P (| \frac{1}{n} ∑_{ν=1}^{n} Y_{ν} | ≥ ε) = P (( \frac{1}{n} ∑_{ν=1}^{n} Y_{ν})^{4} ≥ ε^{4})

≤ \frac{E( \frac{1}{n} ∑_{ν=1}^{n} Y_{ν})^{4}}{ε^{4}} ≤ \frac{C}{ε^{4}n^{2}} .

Gerd Wittstock, UdS, FR 6.1 Mathematik,  Elementare W-Theorie, SS 03  Version: 9. Juli 2003

2 Diskrete und stetige W-Räume

2.1 Uniforme und geometrische Verteilung

Anmerkung. Beim schwachen Gesetz der großen Zahl haben wir die Grenzen der bisher als Modelle betrachteten endlichen W-Räume erreicht. Die in Bezeichnung 1.20.6 eingeführten projektiven Systeme (Ω_{n}, P_{n}pr_{n}) endlicher W-Räume sind umständlich zu handhaben und nicht allgemein genug:

– Man müßte Produkte, Bildverteilungen, Bedingte Verteilungen … für projektive Systeme erklären. Wie verhalten sich projektive Systeme von projektiven Systemen?

– Interpretiert in einem projektiven System den Parameter n ∈ ℕ als Zeitpunkte, in denen die Experimente durchgeführt werden, so könnte man auch an kontinuierliche Zeitparameter t ∈ ℝ denken.

Der elegante und auch anschauliche Ausweg sind unendliche W-Räume.

Wir wollen hier zwei einfache Bespiele unendlicher W-Räume mit anschaulichen Hilfsmitteln vorführen. Im Beispiel 2.1.2 erhalten wir eine stetige W-Verteilung auf dem Intervall [0, 1). im zweiten Beispiel 2.1.3 einen diskretes W-Maß auf ℕ. Für beide Beispiele geben wir jeweils zwei Herleitungen an,

– als projektive Limes eines projektiven Systems endlicher W-Räume,

– als Grenzwerte einer Folge endlicher Verteilungen auf [0, 1] bzw. auf ℕ.

2.1.1 Bem. (Projektiver Limes) Es sei (Ω_{n}, P_{n}, pr_{n} ein projektives System endlicher W-Räume. Die Frage ist, kann man nicht ein W-Raum (Ω, P) finden, derart daß die Räume (Ω_{n}, P_{n}) Bilder von (Ω, P) mit der Bildverteilung sind. D.h., es gibt eine Folge von Zufallsvariablen

π_{n} : (Ω, P) → (Ω_{n}, P_{n})

mit den folgenden Eigenschaften:

(i) Das Diagramm

Ω

π_{n+1}↓
Ω_{n+1} ⟶^{pr_{n}} Ω_{n} [figure] π^{n}

kommutiert für alle n ∈ ℕ,

(ii) P_{n} = P_{π_{n}}.

Häufig kommt man mit den beiden Eigenschaften (i) und (ii) aus. Zur Definition des projektiven Limes gehört noch die Eindeutigkeit, die wir der Vollständigkeit halber hier mit aufführen. Die Eindeutigkeit folgt aus einer universellen Eigenschaft. Zur Formulierung dieser universellen Eigenschaft benötigt man den Begriff der meßbaren Abbildung, den wir hier ohne Erklärung verwenden.

(iii) Man nennt (Ω, P, π_{n}) den projektiven Limes des projektiven Systems (Ω_{n}, P_{n}, pr_{n}), wenn (Ω, P, π_{n}) die folgende universelle Eigenschaft hat:

Ist Ω̃, P̃, π̃_{n}) ein weiterer W-Raum mit den Eigenschaften (i) und (ii), so gibt es eine eindeutig bestimmte meßbare Abbildung

ρ : Ω̃ → Ω mit π̃_{n} = π_{n} ∘ ρ.

D.h. Ω ist in diesem Sinne minimal.

2.1.2 Bsp. (Münzwurf-Raum) Das immerwährende Werfen einer fairen Münze beschreiben wir durch das projektive System

(Ω_{n}, P_{n}, pr_{n}) := ({0, 1}^{n}, P^{⊗n}, pr_{n}).

Dabei ist P die Laplace-Wahrscheinlichkeit auf {0, 1} und pr_{n} : {0, 1}^{n+1} → {0, 1}^{n} die Projektion auf die ersten n Komponenten.

Als projektiver Limes (Ω, P) bietet sich hier ein guter Bekannter aus der Analysis an, das Intervall [0, 1) ⊂ ℝ. Wir beschränken uns auf die Eigenschaften Bemerkung 2.1.1 (i) und (ii).

Die universelle Eigenschaft (iii) gilt auch. Wir zeigen sie aber nicht, da man für den Nachweis etwas Maßtheorie benötigt.

Damit die folgenden Formeln schön symmetrisch sind, lassen wir bei allen Intervalle den rechten Endpunkt weg, was aber nicht weiter wichtig ist. Die Wahrscheinlichkeit eines Teilintervalls [a, b) ⊂ [0, 1) ist seine Länge:

𝒰([a, b]) := b − a.

Für endliche Vereingungen disjunkter Intervalle addiere man die Längen. Man bezeichnet diese Wahrscheinlichkeitsverteilung mit 𝒰 := 𝒰_{[0,1)} und nennt sie die Gleichverteilung oder uniforme Verteilung auf [0, 1).

Die Teilmengen

A_{n} := [\frac{1}{2^{n}} , \frac{2}{2^{n}} ) ∪ [\frac{3}{2^{n}} , \frac{4}{2^{n}} ) ∪ ⋯ ∪ [\frac{2^{n} − 1}{2^{n}}, \frac{2^{n}}{2^{n}} )

sind unabhängig, da für alle {ν_{1}, …, ν_{k}} ⊂ {1, …, n} gilt:

𝒰( ⋂_{i=1}^{k} A_{ν_{i}}) = 2^{−k} = ∏_{i=1}^{k} 𝒰(A_{ν_{i}}).

Die Indikatorfunktionen 1l_{A_{n}}, (n ∈ ℕ) sind n-fach Bernoulli-verteilt mit Parameter p = \frac{1}{2}. Es gilt also:

(i) Die Bildverteilung von

π_{n} := (1l_{A_{1}}, …, 1l_{A_{n}})

ist die Produktverteilung P^{⊗n} auf {0, 1}^{n}.

(ii) Nach Konstruktion ist π_{n} = pr_{n} ∘ π_{n+1}.

Auf ([0, 1), 𝒰) gibt es eine abzählbare Familie (1l_{A_{n}})_{n} unabhängiger und identisch verteilter reeller Zufallsvariabler. Diese beschreiben den unendlichen Münzwurf.

Anmerkung. Man fragt sich, ob man nicht statt ([0, 1), 𝒰) den unendlichen Produktraum {0, 1}^{ℕ} versehen mit einem unendlichen Produktmaß P^{⊗ℕ} nehmen kann? In der Maßtheorie zeigt man, daß das geht und daß die W-Räume ([0, 1), 𝒰) und ({0, 1}^{ℕ}, P^{⊗ℕ}) in einem noch zu präzisierenden Sinne isomorph sind. Beide Räume repräsentieren den sogenannten projektiven Limes des projektiven Systems:

lim proj_{n→∞} ({0, 1}^{n}, P^{⊗n}, pr_{n}),

was wir hier aber mangels Maßtheorie nicht beweisen können.

2.1.3 Bsp. (geometrische Verteilung) In einem n-fachen Bernoulli-Experiment mit Erfolgswahrscheinlichkeit p > 0 ist die Wahrscheinlichkeit, den ersten Erfolg genau im k + 1-ten Teilversuch zu haben, d.h. man hat zuvor k Mißerfolge

𝒢_{n;p}\{k\} := \begin{cases}p(1 − p)^{k} & für k = 0, …, n − 1, \\ (1 − p)^{n} & wenn gar kein Erfolg eintritt. \end{cases}

Wir werden den letzteren Fall, daß kein Erfolg eintritt, mit k = n kodieren. Da nach der geometrischen Summenformel

∑_{k=0}^{n−1} p(1 − p)^{k} = (1 − p)^{n}.

gilt, ist 𝒢_{n;p} ein W-Maß auf Ω_{n} := ({1, …, n, n + 1}, 𝒢_{n;p}). Man nennt daher 𝒢_{n;p} die gestoppte n-te geometrische Verteilung. ”gestoppt“, da man ja weiter experimentieren kann, bis ein Erfolg eintritt. Mit der Projektion pr_{n} : Ω_{n+1} → Ω_{n},

pr_{n} : k ↦ \begin{cases}k & für k = 1, …, n, \\ n & für k = n + 1, n + 2. \end{cases}

erhält man ein projektives System (Ω_{n}, 𝒢_{n;p}, pr_{n}) von endlichen W-Räumen (→ Bezeichnung 1.20.6).

Den projektiven Limes kann man in diesem Fall sofort erraten, es ist der Raum ℕ der natürlichen Zahlen mit der geometrischen Verteilung

𝒢_{p}{k} = p(1 − p)^{k} für k ∈ ℕ_{0}.

Mit der geometrischen Reihe überprüft man

∑_{k=0}^{∞} P \{k\} = p ∑_{k=0}^{∞}(1 − p)^{k} = p\frac{1}{1 − (1 − p)} = 1.

Die gestoppten W-Räume (Ω_{n}.𝒢_{n;p}) sind die Bilder von (ℕ, 𝒢_{p}) unter der Projektion

π_{n} : ℕ_{0} → {0, …, n}

mit

π_{n} : k ↦ \begin{cases}k & für k = 1, …, n, \\ n & für k = n + 1, n + 2, . . .. \end{cases}

Das System (ℕ_{0}, 𝒢_{p}, π_{n}) erfüllt also die Bedingen (i) und (ii) von Bemerkung 2.1.1.

Man sieht leicht, daß auch die universelle Eigenschaft → Bemerkung 2.1.1 (iii) erfüllt ist:

Ist (Ω̃P̃, π̃_{n}) ein weiteres System mit (i) und (ii), so bilde man ρ : Ω̃ → ℕ mit

ρ(ω̃) := lim_{n→∞} π̃_{n}(ω̃).

Man beachte, daß die Folge (π̃_{n}(ω̃))_{n} moton wächst und schließlich konstant ist.

Anmerkung. In der folgenden Feststellung verwenden wir bereits einige Eigenschaften diskreter W-Räume, die erst im folgenden Kapiteln sauber definiert werden.

2.1.4 Bez. (Geometrische Verteilung) (i) Die geometrische Verteilung auf ℕ_{0} mit dem Parameter p ∈ (0, 1) ist gegeben durch

𝒢_{p}{k} := p(1 − p)^{k} für k ∈ ℕ_{0}.

(ii) Eine Zufallsvariable X mit Werten in ℕ ist geometrisch verteilt mit Parameter p, (0 < p < 1), wenn ihre Bildverteilung auf ℕ die geometrische Verteilung 𝒢_{p} ist:

P {X = k} = p(1 − p)^{k−1} für k ∈ ℕ_{0}.

2.2 Diskrete W-Räume

2.2.1 Def. (diskreter W-Raum) Es sei Ω eine beliebige Menge und {ω_{n} | n ∈ ℕ} eine abzählbare Teilmenge von Ω. Jedem ω_{n} sei eine Wahrscheinlichkeit p_{n} zugeordnet, derart daß

0 ≤ p_{n} ≤ 1 für n ∈ ℕ,  (2.2.1)
∑_{n=1}^{∞} p_{n} = 1.  (2.2.2)

Man definiert dann die Wahrscheinlichkeit einer Teilmenge A ∈ 2^{Ω}, indem man die Wahrscheinlichkeiten der ω_{n} ∈ A aufaddiert.

P (A) := ∑_{n=1}^{∞} p_{n}1l_{A}(ω_{n}).  (2.2.3)

Man nennt dann P : 2^{Ω} → [0, 1] ein diskretes W-Maß auf Ω, daß auf die abzählbare Menge {ω_{n} | n ∈ ℕ} konzentriert ist.

Anmerkung. (Diskrete W-Räume) 1. Eine konvergente Reihe mit positiven Summanden kann man beliebig umsortieren. Es kommt also auf die Reihenfolge der Punkte ω_{n} nicht an. Man schreibt daher auch

∑_{n∈ℕ}p_{n} := ∑_{n=1}^{∞} p_{n}.  (2.2.4)

Da es auf die Reihenfolge nicht ankommt, kann man auch andere abzählbare Indexmengen I = {i_{n} | n ∈ ℕ} zulassen. Für die Summe schreibt man dann ∑_{i∈I} p_{i} := ∑_{n=1}^{∞} p_{i_{n}}.

2. In den theoretischen Aussagen werden wir die abzählbar vielen ω_{n} immer mit n = 1, 2, … durchnummerieren. Es können aber auch andere abzählbare Indexmengen auftreten, wie

– die ganzen Zahlen Z. Diese kann man folgendermaßen abzählen: ℤ = 0, 1, −1, 2, −2, 3, −3, . . .. Man schreibt in diesem Fall für die Summe der Wahrscheinlichkeiten ∑_{n=−∞}^{∞} p_{n}.

– doppelt indizierte Punkte ω_{m,n} mit m, n ∈ ℕ. Mit dem Cantorschen Diagonalverfahren kann man die Punkte folgendermaßen zeilenweise durchzählen:

ω_{11}

ω_{12} ω_{21}
ω_{13} ω_{22} ω_{31}
ω_{14} ω_{23} ω_{32} ω_{41}
⋮  ⋮  ⋮  ⋮ ...

– Allgemeiner gilt: Wenn I, J abzählbar sind, so ist auch I × J abzählbar.

3. Häufig wird Ω = {ω_{n} | n ∈ ℕ} sein. Es wird sich als praktisch erweisen, auch solche Fälle zuzulassen, wie Ω = ℝ und {ω_{1}, ω_{2}, … } = ℤ.

4. Eigentlich gehören die endlichen W-Räume ebenfalls zu den diskreten W-Räumen. Man sollte die Definition 2.2.1 eigentlich so formulieren:

2 DISKRETE UND STETIGE W-RÄUME 46

2.2.2 Def. (alternative Definition: diskrete W-Räume) Es sei Ω eine beliebige Menge, I eine höchstens abzählbar unendliche Indexmenge und {ω_{i} | n ∈ I} eine Teilmenge von Ω. Jedem ω_{i} sei eine Wahrscheinlichkeit p_{i} zugeordnet, derart daß

0 ≤ p_{i} ≤ 1 für i ∈ I,  (2.2.5)
∑_{i∈I} p_{i} = 1.  (2.2.6)

Man definiert dann die Wahrscheinlichkeit einer Teilmenge A ∈ 2^{Ω}, indem man die Wahrscheinlichkeiten der ω_{i} ∈ A aufaddiert.

P (A) := ∑_{i∈I∩A} p_{i}1l_{A}(ω_{i}).  (2.2.7)

Man nennt dann P : 2^{Ω} → [0, 1] ein diskretes W-Maß auf Ω.

Konvention: Wir werden i. a. die einfachere Formulierung der Definition 2.2.1 benutzen und stillschweigens bemerken, daß alle Folgerungen natürlich auch für endliche W-Räume gelten. Anmerkung. (diskretes W-Maß ist σ-additiv) Ein diskreter W-Raum erfüllt die beiden Axiome (i) und (ii) aus der Definition 1.1.5 eines endlichen W-Raumes. In einem unendlichen diskreten W-Raum (Ω, P) kann man abzählbare paarweise disjunkte Teilmengen A_{n} ∈ 2^{Ω}, (n ∈ ℕ), betrachten und die Aussage in Feststellung 1.1.6 Gleichung (1.1.1) über die Additivität von P verschärfen.

2.2.3 Satz (diskretes W-Maß ist σ-additiv) Es sei (Ω, P) ein diskreter W-Raum. Dann gilt für jede Familie (A_{n})_{n∈ℕ} paarweise disjunkter Mengen A_{n} ∈ 2^{Ω}

P ( ⋃_{n=1}^{∞} A_{n}) = ∑_{n=1}^{∞} P (A_{n}).  (2.2.8)

Diese Eigenschaft heißt σ-Additivität.

Anmerkung. Mit dem Zusatz σ Bezeichnet man kurz Regeln über abzählbare Vereinigungen oder Summen. Ebenso ist das Kürzel δ für abzählbare Durchschnitte oder Prodkte im Gebrauch.

Beweis. P sei konzentriert auf die Menge {ω_{i} | i ∈ ℕ}.

P ( ⋃_{n=1}^{∞} A_{n}) = ∑_{i=1} p_{i}1l_{⋃_{n=1}^{∞} A_{n}}(ω_{i})

Da die A_{n} paarweise disjunkt sind, gilt

= ∑_{i=1} p_{i} ∑_{n=1}^{∞} 1l_{A_{n}}(ω_{i})

wobei in der Summe ∑_{n=1}^{∞} 1l_{A_{n}}(ω_{i}) alle Summanden bis auf höchstens einen gleich 0 sind. Da alle Terme nichtnegativ sind, darf man die Summationsreihenfolge vertauschen:

P ( ⋃_{n=1}^{∞} A_{n}) = ∑_{n=1}^{∞} ∑_{i=1} p_{i}1l_{A_{n}}(ω_{i})

= ∑_{n=1}^{∞} P (A_{n}).

2.2.4 Festst. (Resultate aus Kap. 1.) 1. Für einen abzählbar unendlichen diskreten W-Raum (Ω, P), wobei P auf {ω_{n} | n ∈ ℕ konzentriert ist, gelten alle Definitionen und Ergebnisse, die wir in Abschnitt 1 getroffen bzw. hergeleitet haben sinngemäß weiter, da für ihre Herleitung nur endliche Operationen – Vereinigung, Durchschnitt, Komplement von Mengen, Summe, Produkt, Quotient von Zahlen – verwendet werden; diese gelten mit der Definition 2.2.1, Gleichung (2.2.3) weiter.

2. Bei der Bildung des Erwartungswertes einer reellen Zufallsvariablen X : (Ω, P) → ℝ muß man immer die Zusatzvoraussetzung machen, daß die Reihe

E(|X|) := ∑_{n=1}^{∞}|X(ω_{n})|P {ω_{n}}  (2.2.9)

absolut konvergent ist. Wir schreiben hierfür kurz E(|X|) < ∞.

Dann konvergiert auch die Reihe

E(X) := ∑_{n=1}^{∞} X(ω_{n})P {ω_{n}}  (2.2.10)

und die Summanden dürfen beliebig umsortiert werden. D.h., man kann mit absolutkonvergenten Reihen bedenkenlos rechnen.

3. Wenn die Varianz auftritt, muß vorausgesetzt werden, daß E(|X|^{2}) < ∞ ist. Aus der Schwarzschen Ungleichung folgt

E(|X|) = E(|1 · X|) ≤ \sqrt{E(1)}\sqrt{E(|X|^{2})} < ∞.

Dann ist auch

Var(X) = E(X^{2}) − (E(X))^{2} < ∞.

Die Kovarianz bildet man nur für reelle Zufallsvariablen X, Y, für die

E(|X|^{2}) < ∞ und E|(|Y^{2}) < ∞

ist.

2.2.5 Festst. (Erwartungswert der geomtr. V) Für eine geometrisch verteilte Zufallsvariable gilt:

(i) Der Erwartungswert ist

E(X) = \frac{1 − p}{p} = \frac{1}{p} − 1.

(ii) Die Varianz ist

Var(X) = \frac{1 − p}{p^{2}}

Anmerkung. Beim wiederholten Würfeln mit einem fairen Würfel hat man also im Mittel

E(X) = ( \frac{1}{6} )^{−1} − 1 = 5

Fehlversuche, bis die erste 6 fällt. Die Varianz von X ist

Var(X) = \frac{5}{6} ( \frac{1}{6} )^{−2} = 30.

Die Standardabweichung ist σ(X) = \sqrt{30}.

Beweis. (i) Da man Potenzreihen innerhalb Ihres Konvergenzbereiches gliedweise differenzieren kann, gilt

E(X) = ∑_{k=0}^{∞} kp(1 − p)^{k}

= −p(1 − p) \frac{d}{dp} ∑_{k=0}^{∞}(1 − p)^{k}

= −p(1 − p) \frac{d}{dp} \frac{1}{1 − (1 − p)} = p(1 − p) \frac{1}{p^{2}}

= \frac{1}{p} − 1.

(ii) Aus Feststellung 1.18.3 (ii) folgt

Var(X) = E(X(X − 1)) + E(X) − (E(X))^{2}.

E(X(X − 1)) = ∑_{k=0}^{∞} k(k − 1)p(1 − p)^{k}

= p(1 − p)^{2} ∑_{k=2}^{∞} k(k − 1)(1 − p)^{k−2}

= p(1 − p)^{2} \frac{d^{2}}{dp^{2}} ∑_{k=0}^{∞}(1 − p)^{k}

= p(1 − p)^{2} \frac{d^{2}}{dp^{2}} \frac{1}{1 − (1 − p)}

= p(1 − p)^{2} \frac{2}{p^{3}}

= \frac{2(1 − p)^{2}}{p^{2}}

Somit ist

Var(X) = \frac{2(1 − p)^{2}}{p^{2}} + \frac{1 − p}{p} − \frac{(1 − p)^{2}}{p^{2}} = \frac{1 − p}{p^{2}} .

Bsp. (St. Peterburger Paradoxon) Das Rechnen und argumentieren mit Zufallsvariablen X, für die E(|X|) = ∞ ist, führt leicht zu paradoxen Ergebnissen. Hier ist ein Beispiel, das auf einen Artikel zurückgeht, den J. Bernoulli 1738 in der Zeitschrift der St. Petersburger Akademie publizierte.

In einem Glückspiel wird eine faire Münze geworfen. Fäll Kopf, so erhält der Spieler den doppelten Einsatz, anderenfalls ist der Einsatz verloren. Ein Spieler mit unbegrenztem Kapital (und Zeit) entscheidet sich für die folgende Strategie:

Er setzt beim ersten Spiel 1 Euro; gewinnt er, so hört er auf zu spielen. Anderenfalls verdoppelt er seinen Einsatz. Dies macht er so lange, bis er das erste mal gewinnt.

Gewinnt er beim n-ten Spiel, so hat er bis dahin

∑_{ν=1}^{n} 2^{ν} = 2^{n} − 1

Euro gesetzt und 2^{n} Euro gewonnen. Der Reingewinn ist 1 Euro. die Wahrscheinlichkeit, daß er erstmals im n-ten Spiel gewinnt ist

𝒢_{1/2}\{n − 1\} = \frac{1}{2} ( \frac{1}{2} )^{n−1} = 2^{−n}.

Die Wahrscheinlichkeit, daß er nie gewinnt ist also kleiner als 2^{−n} für alle (n = 1, 2, …), d.h. gleich 0.

Obwohl das Spiel fair ist, liefert die Methode mit Sicherheit den Reingewinn 1 Euro!

Das Problem liegt darin begründet, daß bei beliebig langer Spielzeit der Gewinn – ohne Berücksichtigung des Einsatzes – unendlichen Erwartungswert besitzt.

Der Grundraum ℕ mit der geometrischen Wahrscheinlichkeit 𝒢_{1/2} beschreibt die Situation, daß der Gewinn im n-ten Spiel eintritt. Die Zufallsvariable

X : ℕ → ℕ mit X(n) = 2^{n}

beschreibt den Gewinn. X hat aber unendlichen Erwartungswert:

E(X) = ∑_{n=1}^{∞} X(n)𝒢_{1/2}{n} = ∑_{n=1}^{∞} 2^{n}2^{−n} = ∞.

Ebenso hat das Eingesetzte Kapital Y = X − 1 unendlichen Erwartungswert.

In einem Spiel ist der Erwartungswert des Gewinnes, sofern er endlich ist, der faire Preis, den man zu Beginn des Spieles setzen kann. Ist der Erwartungswert unendlich, so gibt es keinen sinnvollen fairen Preis. In dem obigen Spiel müßte der Spieler vorab unendlich viel Kapital als Einsatz zahlen!.

Anmerkung. Das Produkt endlich vieler diskreter W-Räume ist wieder diskret:

2.2.6 Bez. (endl. Produkte diskreter WR.) (i) Es seien (Ω_{i}, P_{i}), (i = 1, …, k) endlich viele diskrete W-Räume. Die W-Maße seien jeweils auf die Mengen

M_{i} = {ω_{n}^{(i)} | n ∈ ℕ}

konzentriert.

Ω := Ω_{1} × ⋯ × Ω_{k}.

Man erklärt das Produktmaß P := P_{1} ⊗ ⋯ ⊗ P_{k} auf

Ω := Ω_{1} × ⋯ × Ω_{k}.

durch

P (A) = ∑_{(n_{1},...,n_{k})∈ℕ^{k}} p_{n_{1}} ⋯ p_{n_{k}}1l_{A}(ω_{n_{1}}^{(1)}, …, ω_{n_{k}}^{(k)}) (2.2.11)

= ∑_{n_{1}=1}^{∞} ⋯ ∑_{n_{k}=1}^{∞} p_{n_{1}} ⋯ p_{n_{k}}1l_{A}(ω_{n_{1}}^{(1)}, …, ω_{n_{k}}^{(k)}) (2.2.12)

für A ∈ 2^{Ω}.

(ii) Aus Gleichung (2.2.12) folgt die Produkteigenschaft:

P (A_{1} × … A_{k}) = P_{1}(A_{1}) ⋯ P_{k}(A_{k})

für A_{i} ∈ 2^{Ω_{i}}, (i = 1, …, k).

(iii) M := M_{1} × ⋯ × M_{k} eine abzählbare Teilmenge von Ω_{1} × ⋯ × Ω_{n} und das Produktmaß ist auf M konzentriert.

(iv) (iv) Mit dieser Definition des Produktmaßes gelten alle Resultate aus Kapitel 1 unveränder fort.

2.2.7 Bez. (Bildverteilung einer ZV) Es sei (Ω, P) ein diskreter W-Raum und P sei konzentriert auf die abzählbare Menge {ω_{n} | n ∈ ℕ}. Für eine Zufallsvariable X : (Ω, P) → M ist dann das Bildmaß

P_{X}(B) := P {X ∈ B} für B ∈ 2^{M}

auf die höchsten abzählbare Menge {X := X(ω_{n}) | n ∈ ℕ} konzentriert; diese kann auch endlich sein. Also ist (M, P_{X}) wieder ein diskreter W-Raum.

2.2.8 Folg. (Bildverteilungen) Mit dieser Definition des Bildmaßes (→ Bezeichnung 2.2.7) gelten alle Resultate aus Kapitel 1 weiter. Insbesondere gilt:

(i) Endlich viele Zufallsvariable X = (X_{1}, …, X_{n}) sind unabhängig, wenn ihre gemeinsame Verteilung P_{X} gleich dem Produkt ihrer Randverteilungen ist:

P_{X} = P_{X_{1}} ⊗ ⋯ ⊗ P_{X_{n}}.

(ii) Für den Erwartungswert einer reellen Zufallsvariablen (Ω, P) → ℝ mit E(|X|) < ∞ gilt

E(X) = ∑_{x∈𝒳} xP_{X}{x}

Anmerkung. Daß das Bild eines diskreten W-Raumes wieder ein diskreter W-Raum ist, sieht sehr ansprechend aus, schränkt aber die Anwendbarkeit der diskreten W-Räume zur Modellbildung stark ein:

Es gibt auf einem diskreten W-Raum keine abzählbare Folge (X_{n})_{n} identisch verteilter unabhängiger Zufallsvariabler.

Wir wollen das Begründung kurz skizzieren: Annahme, (X_{n})_{n} sei eine abzählbare Folge identisch verteilter unabhängiger Zufallsvariabler. Man wähle B_{n} ∈ X_{n}(Ω) so, daß P {X_{n}}(B_{n}) = p ∈ (0, 1) für n ∈ ℕ. Die Zufallsvariablen 1l_{X_{n}^{−1}(B_{n})} bilden eine abzählbare Folge von unabhängigen Bernoulli-Variablen mit Parameter p ∈ (0, 1).

Ähnlich wie im Beispiel 2.1.2 des unendlichen Münzwurfs zeigt man, daß der projektive Limes dieses System das Intervall [0, 1) mit der uniformen Verteilung 𝒰 ist. Der Raum ([0, 1), 𝒰) ist aber kein diskreter W-Raum.

2.3 Konvergenz gegen geomtr. Vertlng.

Anmerkung. Wir interessieren uns für konvergente Folgen diskreter W-Maße, die alle auf dieselbe abzählbare menge konzentriert sind. Dann ist der Grenzwert wieder ein diskretes W-Maß, In diesem Abschnitt betrachten wir ein relativ einfaches und anschauliches Beispiel, in dem der Grenzwert die geometrische Verteilung ist. In den folgenden Abschnitten untersuchen wir dann die Konvergenz der Binomialverteilung bei wachsendem n und zeigen:

Bei geeigneter Parameterwahl konvergiert die Binomialverteilung ℬ_{n,p} einerseits gegen die

→ Poisson-Verteilung auf ℕ, also wieder eine diskrete Verteilung.

und bei anderer Wahl der Parameter gegen die

→ Normalverteilung auf ℝ, also eine Verteilung mit stetiger Dichte.

2.3.1 Bsp. (Konvergenz gegen die geom. V.) Wir betrachten zunächst Zufallsexperimente mit einem endlichen Ergebnisraum. Aus einer Urne mit K schwarzen Kugeln und N − K roten Kugeln wird eine geordnete Stichprobe ω := (ω_{1}, …, ω_{n}) vom Umfang N gezogen. Es werden also alle Kugeln gezogen. Der Raum Ω_{ord} der geordneten Stichproben sei mit Laplace-Wahrscheinlichkeit versehen. Es gibt \binom{N}{K} mögliche Plätze für die schwarzen Kugeln, die roten kommen auf die restlichen Plätze. Also ist:

|Ω_{ord}| = \binom{N}{K}.

Die Zufallsvariable X : Ω_{ord} → ℕ gibt an, wieviele rote Kugeln gezogen werden, bevor die erste schwarze kommt:

X : ω ↦ max{i | 0 ≤ i ≤ N − K, ω_{1}, …, ω_{i} rot}

Wenn die erste schwarze Kugel im k + 1-ten Zug erschien, sind bereits k rote Kugeln und eine schwarze gezogen worden. Es verbleiben also noch \binom{N−k−1}{K−1} mögliche Plätze für die verbleibenden K − 1 schwarzen Kugeln. Also ist

P_{N,K}\{X = k\} = \begin{matrix}( & {N−k−1 \atop K−1} & ) \\ ( & {N \atop K} & ) \end{matrix} für k = 0, … N − K.

Wir betrachten den Raum ℕ_{0} mit dem diskreten W-Maß P_{N,K}. Es gilt also

P_{N,K}{X = k}

= \frac{(N − k − 1)!}{(K − 1)!(N − K − k)!} \frac{K!(N − K)!}{N!}

= \frac{K}{N − k} ∏_{i=0}^{k−1} \frac{N − K − i}{N − i}  (2.3.1)

für k = 0, … N − K und 0 sonst.

Man kann die Gleichung (2.3.1) auch direkt interpretieren, als die Wahrscheinlichkeit, zunächst k rote Kugeln zu ziehen und dann eine schwarze.

Grenzübergang: Wie verhält sich die Verteilung P_{N,K} wenn man immer mehr Kugeln in der Urne hat?

Man führe einen Grenzübergang N, K → ∞ derart aus, daß der Anteil der schwarzen Kugeln \frac{K}{N} → p ∈ (0, 1) konvergiert. D.h. man wähle eine Folge (K_{N})_{N} so daß

lim_{N→∞} \frac{K_{N}}{N} = p mit 0 < p < 1.

Aus der Gleichung (2.3.1) erhält man in diesem Fall

lim_{N→∞} P_{N,K_{N}} {k} = p(1 − p)^{k}.

Der Grenzwert ist die geometrische Wahrscheinlichkeit zum Parameter p:

lim_{N→∞} P_{N.K} = 𝒢_{p}  (2.3.2)

Das Ergebnis ist anschauulich zu verstehen. Bei festem k wähle man N und K_{N} ≈ pN sehr groß. Dann ändert sich beim Ziehen von k Kugeln aus der Urne der Restbestand praktisch nicht und folglich sind die Wahrschenlichkeiten für die Farbe der nächsten Kugeln annähernd konstant p bzw. 1 − p. Die Wahrscheinlichkeit, erst k rote und dann eine schwarze Kugel zu ziehen ist also ≈ (1 − p)^{k}p.

Anmerkung. (Bose-Einstein-Statistik) Man kann das W-Maß in dem obigen Beispiel 2.3.1 auch als die Verteilung der Anzahl der Objekte in einer Zelle bei einer Belegung mit nichtunterscheidbaen Objekten interpretieren (→ Bezeichnung 1.2.5).

R rote Kugeln werden durch einen Zufallsmechanismus auf K +1 Zellen mit den Nummern 0, 1, …, K verteilt. Als Zufallsmechanismus verwende man ein Urne mit K schwarzen Kugeln und R = N −K roten Kugeln, aus der man alle Kugeln der Reihe nach entnimmt. Man hat also eine geordnete Stichprobe von roten und schwarzen Kugeln. Die roten Kugeln werden dann nach folgender Regel auf die K + 1 Zellen verteilt:

Begint die Stichprobe mit einer roten Kugel, so kommt diese und die folgenden roten Kugeln solange in die Zelle mit der Nummer 0, bis eine schwarze Kugel gezogen wird, andernfalls bleibt die Zelle mit der Nummer 0 leer. Die schwarzen Kugeln bilden nun die Trennwände zwischen den folgenden Zellen mit den Nummern 1, …, K − 1. Die roten Kugeln zwischen der i-ten und der i + 1-ten schwarzen Kugel kommen in die Zelle mit der Nummer i. Die roten Kugeln, die auf die K-te schwarze Kugel folgen, kommen in die letzte Zelle mit der Nummer K.

Ein Beispiel sagt mehr als tausend Worte: Es sei K = 5, R = 6. Die Stichprobe

r, r, s, s, r, r, r, s, s, r, s

ergibt die Belegungszahlen 2, 0, 3, 0, 1, 0.

Da alle \binom{R+K}{R} Anordnungen von R roten und K schwarzen Kugeln gleichwahrscheinlich sind, bewirkt dieser Zufallsmechanismus, daß alle so erzeugten Belegungen der Zellen gleichwahrscheinlich sind. Die Zufallsvariable X mit der durch die Gleichung (2.3.1) gegebene Verteilung gibt die Anzahl der roten Kugeln in der Zelle mit der Nummer 0 an.

P_{R,K}\{X = k\} := \frac{K}{R + K − k} ∏_{i=0}^{k−1} \frac{R − i}{R + K − i} für k = 0, …, R.

Für R, K → ∞ mit \frac{R}{K} → λ ist

lim_{R,K→∞} P_{R,K}\{k\} = \frac{1}{λ + 1} ( \frac{λ}{1 + λ} )^{k} = 𝒢_{p}\{k\},  (2.3.3)

wobei p = \frac{λ}{1+λ} und λ der Erwartungswert von 𝒢_{p} ist.

Aus Symmetriegründen hat die Anzahl der Kugeln in jeder anderen Zelle die gleiche Verteilung wie X und ist also aprroximativ geometrisch verteilt.

\binom{R+K}{R} ist die Anzahl Belegungen von K + 1 Zellen mit R nicht unterscheidbaren Objekten (→ Folgerung 1.2.6). In der Physik heißt diese Laplace-Wahrscheinlichkeit auf den Belegungen die Bose-Einstein Statistik. Man findet sie in der Quantenmechanik bei der Beschreibung der sogenannten Bose-Teilchen. Elementarteilchen von diesem Typ sind ununterscheidbar, d.h. der Austausch zweier Teilchen ändert nichts am Zustand des Systems.

Es können mehrere Bose-Teilchen in der selben Zelle sein oder physikalisch ausgedrückt, denselben Zustand haben. Ein anderer Typ sind die Fermi-Dirac-Teilchen, die ebenfalls ununterscheidbar sind, von denen aber immer höchsten eines in einer Zelle sein kann. Die Gleichverteilung auf den möglichen Belegungen impliziert also, das die die Zahl der Teilchen in der gleichen Zelle annähernd geometrisch verteilt ist.

Anmerkung. Im allgemeinen hat man bei Belegungenmit mit unterscheidbaren Objekten nicht die Gleichverteilung (Bose-Einstein-Statistik), sondern die Multinomialverteilung. Die Anzahl der Objekte in einer Zelle ist dann die Randverteilung, also binomialverteilt (→ Beispiel 1.8.5).

Wir werden analog zum Vorgehen im Beispiel 2.3.1 für Zufallsvariable X_{n}, die ℬ_{n,p} verteilt sind, den Grenzwert der Verteilung für n → ∞ unter der Nebenbedingung E(X_{n}) → λ untersuchen. Dabei stoßen wir die auf die → Poissonverteilung auf ℕ.

2.4 Poisson-Verteilung

Anmerkung. Die Exponentialfunktion e^{x} gilt

e^{x} = lim_{n→∞} (1 + \frac{x}{n} )^{n} für x ∈ ℝ.  (2.4.1)

e^{x} hat die Potenzreihenentwicklung

e^{x} = ∑_{n=0}^{∞} \frac{x^{n}}{n!} für x ∈ ℝ.  (2.4.2)

Für λ > 0 ist e^{−λ} \frac{λ^{n}}{n!} > 0 und

∑_{n=0}^{∞} e^{−λ} \frac{λ^{n}}{n!} = 1.  (2.4.3)

Man kann also mit diesen Werten ein diskretes W-Maß auf ℕ_{0} bilden.

2.4.1 Bez. (Poisson-Verteilung) 1. Für λ > 0 heißt das Wahrscheinlichkeitsmaß 𝒫_{λ} auf ℕ_{0} mit

𝒫_{λ}\{k\} = e^{−λ} \frac{λ^{k}}{k}

die Poisson-Verteilung zum Parameter λ

2. Eine Zufallsvariable X heißt Poisson-verteilt, wenn sie ihre Werte in ℕ_{0} annnimt und

P \{X = k\} = e^{−λ} \frac{λ^{k}}{k}

ist.

2.4.2 Festst. (Eigenschaften: Poisson-Verteilung) Eine Poisson-verteilte Zufallsvariable X hat den Erwartungswert

E(X) = λ

und die Varianz

V ar(X) = λ.

λ ist also zugleich der Erwartungswert und die Varianz ein 𝒫_{λ}-verteilten Zufallsvariablen.

Beweis.

E(X) = ∑_{k=0}^{∞} ke^{−λ} \frac{λ^{k}}{k!} = λe^{−λ} ∑_{k=1}^{∞} \frac{λ^{k−1}}{(k − 1)!} = λe^{−λ}e^{λ} = λ.

Aus Feststellung 1.18.3 (ii) folgt

Var(X) = E(X(X − 1)) + E(X) − (E(X))^{2}.

E(X(X − 1)) = ∑_{k=0}^{∞} k(k − 1)e^{−λ} \frac{λ^{k}}{k!}

= λ^{2}e^{−λ} ∑_{k=2}^{∞} \frac{λ^{k−2}}{(k − 2)!} = λ^{2}e^{−λ}e^{λ} = λ^{2}

und somit

Var(X) = λ^{2} + λ − λ^{2} = λ.

2.4.3 Satz (Konvergenz gegen Poisson-Verteilung) Für eine Folge von Binomialverteilungen ℬ_{n,p_{n}}, (n ∈ ℕ), deren Mittelwerte μ_{n} := np_{n} konvergieren:

lim_{n→∞} μ_{n} =: λ  (2.4.4)

gilt

lim_{n→∞} ℬ_{n,p_{n}}\{k\} = e^{−λ} \frac{λ^{k}}{k!} .  (2.4.5)

Unter der Nebenbedingung (2.4.4) konvergiert die Binomialverteilung gegen die Poissonverteilung.

Beweis. Es ist

ℬ_{n,p_{n}}\{k\} = \binom{n}{k}p_{n}^{k}(1 − p_{n})^{n−k}

= \frac{1}{k!} n(n − 1) ⋯ (n − k + 1)p_{n}^{k}(1 − p_{n})^{n−k}

= \frac{1}{k!} \frac{n}{n} \frac{n − 1}{n} ⋯ \frac{n − k + 1}{n} μ_{n}^{k}(1 − \frac{μ_{n}}{n} )^{n−k}

= \frac{1}{k!} \frac{n}{n} \frac{n − 1}{n} ⋯ \frac{n − k + 1}{n} μ_{n}^{k}(1 − \frac{μ_{n}}{n} )^{−k}(1 − \frac{μ_{n}}{n} )^{n}

Letzteres konvergiert für n → ∞ gegen

ℬ_{n,p_{n}}\{k\} → \frac{1}{k!} e^{−λ}.

Dabei haben wir das folgende Bemerkung 2.4.4 benutzt:

2.4.4 Bem. Man kann die Gleichung (2.4.1) noch etwas verschärfen: Für 0 ≤ μ_{n} → λ gilt

(1 − \frac{μ_{n}}{n} )^{n} → e^{−λ}

Dies sieht man folgendermaßen ein: Da der natürliche Logarithmus log x die Ableitung \frac{d}{dx} log x = 1/x hat, folgt aus dem Mittelwertsatz der Differentialrechnung

log (1 − \frac{μ_{n}}{n} ) − log 1 = − \frac{μ_{n}}{n} \frac{1}{1 − ξ_{n}}

mit 0 < ξ_{n} < μ_{n}/n. Also gilt ξ_{n} → 0 für n → ∞. Da log 1 = 0 ist folgt hieraus

(1 − \frac{μ_{n}}{n} )^{n} = exp (n log (1 − \frac{μ_{n}}{n} ))

= exp (n( − \frac{μ_{n}}{n} \frac{1}{1 − ξ_{n}} ))

→ exp(−λ).

Anmerkung. Die Approximation der Binomialverteilung ℬ_{n,p} durch die Poisson-Verteilung 𝒫_{λ} mit λ = np findet ihre Anwendung für große Werte von n und sehr kleine Werte von p. Das ist aus folgenden Gründen angebracht:

– Die Binomialkoeffizienten \binom{n}{k} werden schnell sehr groß und die Werte der Binomialverteilung lassen sich für große n und kleine p nicht gut berechnen. Die Poisson-Verteilung kann gut rekursiv berechnen:

𝒫_{λ}(0) = e^{−λ}, 𝒫_{λ}(k) = \frac{λ}{k} 𝒫_{λ}k − 1

– Manchmal sind n und p nicht genau bekannt, man weiß nur, daß n groß und p klein ist. Wenn man den Erwartungswert λ = np schätzen schätzen, kann man die Verteilung trotzdem gut approximieren.

2.4.5 Bsp. (Verteilung der Schadensmeldungen) Die Anzahl der Schadensmeldungen in einem Zeitraum (0, t], t > 0, sei proportional zur Länge des Intervalls (0, t], also gleich αt mit einem empirisch zu ermittelnden Faktor α. Die Schadensmeldungen treffen zufällig ein, z.B. bei einer Versicherung. Wie ist die Verteilung X der Schadensmeldungen in einem festen Zeitraum (0, t] anzusetzen?

Klar ist, X nimmt seine Werte in ℕ_{0} an. Wir zerlegen das Intervall (0, t] in n gleichlange Teilintervalle. Wenn n groß ist und somit die Teilintervalle kurz sind, ist anzunehmen, daß in jedem Teilintervall höchstens ein Schadenfall eintritt. Weiterhin nehmen wir an, daß das Auftreten eines Schadens in einem Teilintervall nicht davon abhängt, ob und in welchen anderen Teilintervallen Schäden auftreten. D.h., man kann so tun, als ob die Schadensfälle in den einzelnen gleichlangen Teilintervallen n-fach Bernoulli-verteilt mit dem Parameter p = αt/n sind Die Zufallsvariable X ist die Summe der ”Erfolge“. und folglich annähernd binomialverteilt mit den Parametern n und p ≈ αt/n.

Diese Überlegung kann man für alle hinreichen großen n ∈ ℕ anstellen. Das liefert den Ansatz für die Verteilung von X:

P {X = k} = lim_{n→∞} ℬ_{n,αt/n}{k}

= 𝒫_{αt}\{k\} = e^{−αt} \frac{(αt)^{k}}{k!} für k ∈ ℕ_{0}. (2.4.6)

für k ∈ ℕ_{0}.

Anmerkung. Wir halten fest, die Poisson-Verteilung 𝒫_{λ} ist ein Modell für die Anzahl rein zufällig auftretender Zeitpunkte in einem Zeitintervall. Man denke an die Zeitpunkte, in denen im Beispiel 2.4.5) ein Schaden eintritt. Andere typische Beispiele sind die in einem Callcenter eingehenden Anrufe, die über einen Mail-Server weiterzuleitenden Emails, die Anzahl der Kunden an einem Schalter, die Anzahl der Zeitpunkte, in denen ein Atom einer radioaktiven Substanz zerfällt. Das Intervall kann auch eine andere Dimension haben, z.B. die Anzahl der Fahrzeuge auf einem Straßenabschnitt.

Anmerkung. (zum Beispiel 2.4.5 Schadensmeldungen) In der obigen Diskussion haben wir darauf verzichtet, einen formalen W-Raum (Ω, P) für X : (Ω, P) → ℕ_{0} anzugeben. Wir gehen mal davon aus, daß einen solchen Raum gibt und wollen die Herleitung der Gleichung (2.4.6) etwas präzisieren:

1. Man zerlegt das Intervall (0, t] in n-Teile und bezeichnet mit X_{n,j}, (j = 1, …, n) die Anzahl der Schadensmeldungen im j-ten Teilintervall. Dann ist

X = X_{n,1} + … X_{n,n}.

Wir haben vorausgesetzt:

X_{n,1}, …, X_{n,n} unabhängig und identisch verteilt. (∗)

2. Dann haben wir X_{n,j} durch die Indikatorvariable 1l_{{X_{n,j} ≥1}} ersetzt und X durch die Summe

S_{n} := ∑_{j=1}^{n} 1l_{{X_{n,j} ≥1}}.

angenähert. Da die Ereignisse {X_{n,j}} > 1} unabhängig sind und die gleiche Wahrscheinlichkeit p_{n} := P {X_{n,1} ≥ 1} besitzen, ist S_{n} eine ℬ_{n,p_{n}} verteilte Zufallsvariable. Aus

1l_{{X_{n,1}≥1}} ≤ X_{n,1}

folgt

p_{n} = E(1l_{\{X_{n,1}≥1\}}) ≤ E(X_{n,1}) = \frac{αt}{n} .

3. Wir haben dann mit ”munteren Worten“ p_{n} ≈ αt/n gesetzt, d.h. wir setzen voraus, daß

lim_{n→∞} np_{n} = lim_{n→∞} E(S_{n}) =^{!} E(X) = αt  (∗∗)

Hiermit folgt aus Satz 2.4.3

lim_{n→∞} P {S_{n} = k} = lim_{n→∞} ℬ_{n,p_{n}}{k} = 𝒫_{αt}.  (2.4.7)

Wir wollen nun schließen, daß X ebenfalls Poissson-verteilt mit dem Parameter αt ist.

4. Dazu zeigen wir die folgende Aussage:

Aus (∗∗) folgt

lim_{n→∞} P ( ⋃_{j=1}^{n}{X_{n,j} ≥ 2}) = 0.  (2.4.8)

D.h. bei immer feiner werdender Zerlegung wird das Auftreten von mehr als einem Schaden immer unwahrscheinlicher. Dies sieht man folgendermaßen ein:

Wir benutzen in der folgenden Gleichung die σ-Additivität des nicht genauer angegebenen Wahrscheinlichkeitsmaßes P. Im Falle diskreter W-Räume hatten wir die σ-Additivität in Satz 2.2.3 gezeigt.

E(S_{n}) = ∑_{j=1}^{n} P {1l_{{X_{n,j} ≥1}} = ∑_{j=1}^{n} ∑_{k=1}^{∞} P {X_{n,j} = k}

≤ ∑_{j=1}^{n} ∑_{k=1}^{∞} kP {X_{n,j} = k} =^{!} ∑_{j=1}^{n} E(X_{n.j}) = E(X).

Aus (∗∗) folgt somit

lim_{n→∞} ∑_{j=1}^{n} ∑_{k=2}^{∞}(k − 1)P {X_{n,j} = k} = 0.

Aus der σ-Additivität von P folgt nun

P ( ⋃_{j=1}^{n}{X_{n,j} ≥ 2}) ≤ ∑_{j=1}^{n} ∑_{k=2}^{∞} P {X_{n,j} = k}

≤ ∑_{j=1}^{n} ∑_{k=2}^{∞}(k − 1)P {X_{n,j} = k} → 0

und somit die die Gleichung (2.4.8).

5. Aus den Gleichungen (2.4.7) und (2.4.8) erhalten wir nun die Verteilung von X. Wir zerlegen dazu die Menge {X = k} in die folgenden Fälle:

P {X = k} = P ({X = k} ∩ {X = S_{n}}) + P ({X = k} ∩ {X ≠ S_{n}})
= P ({S_{n} = k} ∩ {X = S_{n}}) + P ({X = k} ∩ {X ≠ S_{n}})
= P {S_{n} = k} − P ({S_{n} = k} ∩ {X ≠ S_{n}})
+ P ({X = k} ∩ {X ≠ S_{n}})

Da

{X ≠ S_{n}} ⊂ ⋃_{j=1}^{n}{X_{n,j} ≥ 2}

ist, folgt aus (2.4.8)

lim_{n→∞} P ({S_{n} = k} ∩ {X ≠ S_{n}}) = 0,
lim_{n→∞} P ({X = k} ∩ {X ≠ S_{n}}) = 0.

Also ist P {X = k} = lim_{n→∞} P {S_{n} = k} = 𝒫_{αt}{k}.

Anmerkung. Bei der Herleitung der Poisson-Verteilung in der obigen Anmerkung haben wir vorausgesetzt, daß sich X als Summe von n unabhängigen, identisch verteilten Zufallsvariablen schreiben läßt. Wir wollen zeigen, daß dies für eine Poissonverteilte Zufallsvariable für jedes n einzeln möglich ist, indem wir X durch eine passende Zufallsvariable X̃ mit der gleichen Verteilung ersetzen. Eigentlich benötigen wir einen W-Raum, auf dem dies für alle n zugleich möglich ist.

In der Übung wird gezeigt, daß für unabhängig Zufallsvariable X und Y, die Poisson-verteilt sind mit den Parametern λ bzw μ, die Summe X + Y wieder Poisson-verteilt ist mit dem Parameter λ + μ.

Es sei X Poisson-verteilt mit dem Parameter λ. Man wähle eine Zufallsvariable Y die Poisson-verteilt mit dem Parameter λ/n ist. Z.B. die identische Abbildung von (Ω, P) := (ℕ_{0}, 𝒫_{λ/n}).

Man bilde nun das n-fache Produkt (Ω^{n}, P^{⊗n}) mit den Projektionen pr_{ν} : Ω^{n} → Ω und setze

X_{ν} = Y ∘ pr_{ν} für ν = 1, …, n.

Die X_{ν} sind unabhängig und 𝒫_{λ/n} verteilt. Also ist

X̃ := ∑_{ν=1}^{n} X_{ν}

𝒫_{λ} verteilt.

Da X und X̃ dieselbe Verteilung haben, kann man X durch X̃ ersetzen. Die letztere Zufallsvariable ist die Summe von n identisch verteilten unabhängigen Zufallsvariablen.

2.5 Allgemeine W-Räume

Anmerkung. Wir geben die formale Definition eines W-Raumes. Die diskreten W-Räume ordnen sich hier als wichtiges Beispiel ein. Wir werden keine tieferliegenden Ergebnisse über allgemeine W-Räume herleiten, sondern benötigen die Definition im wesentlichen, um in den folgenden Beispielen die übliche Terminologie verwenden zu können.

Es erweist sich als zweckmäßig und vielfach aus Gründen der Logik als notwendig, daß man bei überabzählbaren Ereignisräumen, wie z.B. bei den reellen Zahlen ℝ, als Ereignisse nicht mehr alle Teilmengen des Grundraumes zuläßt, sondern sich auf eine kleineres Mengensystem beschränkt, daß alle ”interessierenden“ Ereignisse enthält. Im Fall der reellen Zahlen wird man z. B. die Wahrscheinlichkeit von Intervallen berechnen wollen.

Wie wir bei der Untersuchung diskreter W-Räume bereits gesehen haben, ist das wesentliche theoretische und rechnerische Hilfsmittel die Approximation durch einfachere Modelle. Der Übergang zu Grenzwerten vereinfacht einerseits die Theorie aber auch die praktische Berechnung. Der Grenzwert ist der ideale genaue Wert, mit den man jede Approximation vergleichen kann. Die Kenntnis des Grenzwertes ermöglicht es oft andere, bessere Näherungen zu finden, als die, mit denen man zunächst die Existenz des Grenzwertes und seine Eigenschaften gefunden hat.

Um Grenzwerte bilden zu können, müssen wir für die Ereignisse abzählbare Mengenoperationen (Vereinigung, Durchschnitt, Komplement) zulassen. Im Falle der reellen zahlen kommt man also nicht umhin, auch all die Teilmengen zu betrachten, die sich durch ”beliebig wiederholte“ abzählbare Mengenoperationen aus Intervallen bilden lassen. Man nennt dies das System der Borel-Mengen B(ℝ) auf ℝ. Es wird sehr aufwendig und ist auch nicht nötig, dieses Mengensystem durch Konstruktionsvorschriften zu beschreiben. Man charakterisiert die Borel-Mengen B(ℝ) als das kleinste Mengensystem, das alle Intervalle enthält und aus dem abzählbaren Mengenoperationen nicht hinausführen.

Um diese Gedanken zu präzisieren gibt man eine axiomatische Charakterisierung und gelangt so zum Begriff der σ-Algebra:

2.5.1 Def. (σ-Algebra) Es sei Ω eine Menge. eine Teilmenge A ⊂ 2^{Ω} heißt ein Mengensystem auf Ω.

Ein Mengensystem A heißt eine σ-Algebra, wenn folgendes gilt:

1. Ω ∈ A

2. Mit A ∈ A ist auch das komplementäre Menge A^{c} ∈ A.

3. Ist (A)_{n∈ℕ} in A, so ist auch

⋃_{n=1}^{∞} A_{n} ∈ A.

In der W-Theorie nennt das Paar (Ω, A) einen Ereignisraum und die Elemente von A Ereignisse. In der Maßtheorie sagt man Meßraum oder meßbarer Raum dazu.

Anmerkung.

1. Man beachte, es nicht gefordert wird, daß eine σ-Algebra für beliebige Familien (A_{i})_{i∈I} die Vereingungen ⋃_{i∈I} A_{i} enthält. Diese Eigenschaft ist i.a. auch falsch.

Ein einfaches Beispiel ist die – sonst nicht weiter interessante – σ-Algebra

A := {A ⊂ ℝ | A oder A^{c} höchstens abzählbar}.

Es sind alle einpunktigen Mengen {a} ∈ A. Jede Menge ist Vereinigung ihrer Punkte. Da ℝ überabzählbar ist, ist A ≠ 2^{ℝ}, z.B. ist das Intervall [0, ∞) ∉ A.

2. In den Axiomen einer σ-Algebra steht auch nicht, daß die einpunktigen Mengen zu A gehören. Das wird aber häufig der Fall sein.

2.5.2 Festst. (Rechenregeln: σ-Algebren) Es sei A eine σ-Algebra auf der Menge Ω.

(i) Es ist ∅ = Ω^{c} ∈ A.

(ii) Sind A_{1}, …, A_{n} ∈ A, so ergänze man sie durch ∅ = A_{n+1} = A_{n+2} = … zu einer Folge. Somit ist die endliche Vereinigung A_{1} ∪ ⋯ ∪ A_{n} = ⋃_{n=1}^{∞} A_{n} ∈ A.

(iii) Es sei (A_{n})_{n∈ℕ} in A. Nach der de Morganschen Regel gilt:

⋂_{n=1}^{∞} A_{n} = ( ⋃_{n=1}^{∞} A_{n}^{c})^{c} ∈ A.

(iv) Analog zum Punkt (ii) ist mit A_{1}, …, A_{n} ∈ A auch der Durchschnitt A_{1} ∩ ⋯ ∩ A_{n} ∈ A.

(v) Ist (A_{n})_{n∈ℕ} in A eine fallende Folge, d.h.

A_{1} ⊃ A_{2} ⋯ A_{n} ⊃ A_{n+1} ⋯,

dann kann man A_{k} als disjunkte Vereinigung schreiben:

A_{k} = ( ⋂_{n=1}^{∞} A_{n}) ∪ ⋃_{n=k}^{∞}(A_{n} \ A_{n+1}),

Das System ⋂_{j=1}^{∞} A_{j} und (A_{n}\A_{n+1})_{n} besteht aus paarweise disjunkten Mengen. Ist (A_{n})_{n} eine beliebige Folge in A, dann kann man die Vereinigung der A_{n} als disjunkte Vereinigung schreiben:

⋃_{n=k}^{∞} A_{n} = ⋃_{n=1}^{∞} (A_{n} \ ⋃_{i=1}^{n−1} A_{i})

Also

⋃_{n=k}^{∞} A_{n} = A_{1} ∪ (A_{2} \ A_{1}) ∪ (A_{3} \ (A_{1} ∪ A_{2})) ∪ …

2.5.3 Bsp. (σ-Algebren) 1. Für eine beliebige Menge ist die Potenzmenge 2^{Ω} eine σ-Algebra auf Ω. 2^{Ω} ist offensichtlich die größte σ-Algebra auf Ω. Sie ist i.a. viel zu groß. Die kleinste σ-Algebra auf Ω ist {Ω, ∅}.

2. Der Durchschnitt einer beliebigen Familie von σ-Algebren auf Ω ist eine σ-Algebra.

3. Wenn Ω = {ω_{n} | n ∈ ℕ} höchstens abzählbar unendlich ist, so ist 2^{Ω} die kleinste σ-Algebra auf Ω, die alle einelementigen Teilmengen (Punkte) von Ω enthält. Aus diesem Grunde rechnet man bei diskreten W-Räum-en immer mit der vollen Potenzmenge.

4. Zu M ⊂ 2^{Ω} gibt es eine kleinste M umfassende σ-Algebra, die man mit σ(M) bezeichnet.

Beweis. Die Potenzmenge 2^{Ω} ist eine σ-Algebra ist, die M enthält. Nun bilde man den Durchschnitt aller σ-Algebren, die M enthalten. Dieser Durchschnitt ist nicht leer, ist eine σ-Algebra, und enthält M.

5. Ist insbesondere Ω = ℝ, so bezeichnet man mit B(ℝ) die kleinste σ-Algebra auf ℝ, die alle offenen Mengen enthält. B(ℝ) heißt die Borel-Algebra von ℝ.

Jedes abgeschlossene oder halbabgeschlossene Intervall ist Durchschnitt von abzählbar vielen offenen Intervallen:

[a, b] = ⋂_{n=1}^{∞}(a − \frac{1}{n}, b + \frac{1}{n}),

[a, b) = ⋂_{n=1}^{∞}(a − \frac{1}{n}, b).

Weiterhin ist jede offene Menge in ℝ die Vereinigung von höchstens abzählbar vielen offenen Intervallen. Daher ist B(ℝ) auch die kleinste σ-Algebra die alle beschränkten Intervalle enthält.

B(ℝ) ist auch die kleinste σ-Algebra, die alle Intervalle der Form (−∞, a] enthält.

Weiterhin ist jede einpunktige Menge {a} = [a, a] ∈ B(ℝ) und somit auch jede abzählbare Menge in B(ℝ)).

Wenn man von dem Ereignisraum ℝ spricht, ist immer (ℝ, B(ℝ)) gemeint.

6. Für ein Intervall I ⊂ ℝ sei

B(I) := {A | A ∈ B(ℝ) und A ⊂ I}.

B(I) ist die kleinste σ-Algebra auf I, die alle Teilintervalle von I enthält.

7. Die Borel-Algebra B(ℝ^{d}) ist die kleinste σ-Algebra, die alle offenen Teilmengen des ℝ^{d} enthält. Wie im Falle n = 1 zeigt man, daß B(R^{n}) die kleinste σ-Algebra ist, die alle offenen oder alle halboffenen oder alle abgeschlossenen achsenparallelen Quader enthält.

Weiterhin ist B(ℝ^{d}) die kleinste σ-Algebra, die alle Mengen der Form

(−∞, a_{1}] × (−∞, a_{2}] × ⋯ × (−∞, a_{n}]

enthält.

2.5.4 Bem. (Bild und Urbild einer σ-Algebra) 1. Es seien (Ω, A) ein Meßraum, Ω̃ eine Menge und X : Ω → Ω̃ eine Abbildung. Dann ist

Ã:= {B ∈ 2Ω̃ | X^{−1}(B) ∈ A}

eine σ-Algebra.

Man beachte, das das Mengensystem {X(A) | A ∈ A} i.a. keine σ-Algebra ist, selbst wenn X surjektiv ist, da i.a. X(A)^{c} ≠ X(A^{c}) ist.

2. Es seien Ω eine Menge, (Ω̃, Ã) eine Meßraum und X : Ω → Ω̃ eine Abbildung. Dann ist

X^{−1}(A) := {A ∈ 2^{Ω} | A = X^{−1}(B) für ein B ∈ Ã}

eine σ-Algebra.

Anmerkung. Wir definieren nun den allgemeinste Version eines W-Raumes.

2.5.5 Def. (W-Maß auf einer σ-Algebra) Es sei (Ω, A) ein Meßraum. Eine Abbildung P : A → [0, 1] heißt ein W-Maß, wenn die Axiome von Kolmogorov gelten:

1. P (Ω) = 1.

2. Für eine Folge (A_{n})_{n∈ℕ} paarweise disjunkter Ereignisse in A gilt

P ( ⋃_{n=1}^{∞} A_{n}) = ∑_{n=1}^{∞} P (A_{n}) (σ-additiv)

Das Tripel (Ω, A, P) heißt ein W-Raum.

2.5.6 Satz (Rechenregeln: W-Maße) Es sei (Ω, A, P) ein W-Raum (→ Definition 2.5.5). Dann gilt

(i) Für zwei disjunkte Mengen A, B ∈ A ist

P (A ∪ B) = P (A) + P (B) (additiv)

Es gelten also alle Rechenregeln aus Feststellung 1.1.6 über endliche Mengenoperationen.

(ii) Für eine beliebige Folge (A_{n})_{n} in A gilt

P ( ⋃_{n=1}^{∞} A_{n}) ≤ ∑_{n=1}^{∞} P (A_{n}) (σ-subadditiv)

(iii) Für eine monoton fallende Folge (A_{n})_{n∈ℕ} in A gilt

P ( ⋂_{n=1}^{∞} ) = lim_{n→∞} P (A_{n}). (von oben stetig)

(iv) Für eine monoton wachsende Folge (A_{n})_{n∈ℕ} in A gilt

P ( ⋃_{n=1}^{∞} ) = lim_{n→∞} P (A_{n}). (von unten stetig)

2.5.7 Bsp. (Uniforme Verteilung) 1. Man zeigt in allen gängigen Lehrbüchern zur Analysis III, daß es genau eine W-Maß 𝒰 auf den Borel-Mengen B([0, 1]) gibt, so das

𝒰[a, b] := b − a für 0 ≤ a ≤ b < 1.

gilt. Aus Stetigkeit von oben bzw. unten folgt dann

𝒰[a, b) = 𝒰(a, b] = 𝒰(a, b) = 𝒰[a, b]

Man nennt diese W-Maß die uniforme Verteilung auf [0, 1]. In den Lehrbüchern zur Analysis heißt diese W-Maß das Lebesgue-Maß und wird mit λ bezeichnet. 2. Das Lebesgue-Maß λ existiert auch auf jedem anderen echten, beschränkten Intervall I ⊂ ℝ. Um die uniforme Verteilung auf I zu erhalten, muß man λ normieren. Man setzt

𝒰_{I}(A) := \frac{λ(A)}{λ(I)} für A ∈ B(I).

Ist I = [a, b], so gilt also

𝒰_{I}([c, d]) = \frac{d − c}{b − a} für a ≤ c < d ≤ b.

2.6 Zufallsvariable und ihre Verteilung

2.6.1 Def. (meßbare Abb, Zufallsvariable) 1. Es seien (Ω, A) und (Ω̃, Ã) Meßräume. Eine Abbildung X : Ω → Ω̃ heißt meßbar, wenn

X^{−1}(B) ∈ A für B ∈ Ã.

2. Ist (Ω, A, P) ein W-Raum und (Ω̃, Ã) ein Meßraum, dann heißt eine meßbare Abbildung X : Ω → Ω̃ eine Zufallsvariable.

Wir schreiben hierfür kurz X : (Ω, A, P) → (Ω̃, Ã).

Anmerkung. Für jede Zufallsvariable X : (Ω, A, P) → (Ω̃, Ã) definiert jedes B ∈ Ã ein Ereignis {X ∈ B} = X^{−1}(B) ∈ A, dessen Wahrscheinlichkeit P {X ∈ B} man bilden kann. Wie im endlichen und diskreten Fall (→ Satz 1.6.3) heißt

P_{X} : B ↦ P {X ∈ B} für B ∈ Ã

die Bildverteilung von X.

2.6.2 Festst. (Regeln: Zufallsvariable) (i) Es seien (Ω, A, P) ein W-Raum, (Ω̃, Ã) und (Ω̂, Â) Meßräume. Ist X : Ω → Ω̃ eine Zufallsvariable und φ : Ω̃ → Ω̂ meßbar, dann ist φ ∘ X wieder Meßbar, also eine Zufallsvariable.

(ii) Es seien (Ω, A, P) ein W-Raum, (Ω̃, Ã) ein Meßraum und Ist D ein Erzeugendensystem von Ã, d.h., σ(D) = A.

Eine Abbildung X : Ω → Ω̃ ist bereits eine Zufallsvariable, wenn

X^{−1}(D) ∈ A für alle D ∈ D gilt.

Beweis. (i) Nach Vorausetzung ist für alle C ∈ Â (φ ∘ X)^{−1}(C) = X^{−1}(φ^{−1}(C)) ∈ A.

(ii) Das Mengensystem

Â:= {A ∈ 2Ω̃ | X^{−1}(A) ∈ A}

ist eine σ-Algebra, die D umfaßt. Also ist Ã = σ(D) ⊂ Â.

2.6.3 Satz (Verteilung einer Zufallsvariablen) Es seien (Ω, A, P) ein W-Raum, (Ω̃, Ã) ein Meßraum und X : Ω → Ω̃ eine Zufallsvariable. Dann ist die Abbildung

P_{X} : Ã) → [0, 1],
P_{X} : B ↦ P (X^{−1}(B)) für B ∈ Ã

ein W-Maß auf Ã.

P_{X} heißt die Verteilung von X oder das Bildmaß von P unter X. (Ω̃, Ã, P_{X}) heißt der von X induzierte W-Raum.

Beweis. Wir weisen die Eigenschaften aus Definition 2.5.5 nach. P_{X} ist eine Abbildung von Ã in [0, 1] mit P_{X}(Ω̃) = 1. Wir zeigen die σ-Additivität: Für eine Folge (B_{n})_{n} paarweise disjunkter Mengen in Ã gilt

P_{X}( ⋃_{n=1}^{∞} B_{n}) = P (X^{−1}( ⋃_{n=1}^{∞} B_{n}))

= P ( ⋃_{n=1}^{∞} X^{−1}(B_{n}))

= ∑_{n=1}^{∞} P (X^{−1}(B_{n})) = ∑_{n=1}^{∞} P_{X}(B_{n}).

Man beachte, wenn B_{1}, B_{2} disjunkt sind, so sind auch die Urbilder X^{−1}(B_{1}) und X^{−1}(B_{2}) disjunkt.

Anmerkung. Die Feststellung 1.6.4 gilt sinngemäß weiter:

2.6.4 Bem. (Funktionen von Zufallsvariablen) Gegeben seien ein W-Raum (Ω, A, P), Meßräume (Ω̃, Ã) (Ω̂, Â) und Zufallsvariable

X : Ω → Ω̂, Y : Ω → Ω̃

und eine meßbare Abbildung Z : Ω̃ → Ω̂ so, daß

X = Z ∘ Y

ist. Man bilde den W-Raum (Ω̃, P_{Y}). Dann haben die Zufallsvariablen

X : (Ω, P) → Ω̂ und Z : (Ω̃, P_{Y}) → Ω̂

die gleiche Verteilung: (Ω̂, P_{X}) = (Ω̂; P_{Z}) oder kurz

(P_{Y})_{Z} = P_{Z∘Y} .  (2.6.1)

2.7 Eindeutigkeit eines W-Maßes

Anmerkung. (Problem: W-Funktion zu 𝒰 identisch 0)

1. Für die Uniforme Verteilung auf [0, 1] hat jede einpunktige Menge das Maß Null:

𝒰\{a\} = lim_{n→∞} 𝒰([a − \frac{1}{n} , a + \frac{1}{n}]) = 0.

Bei endlichen und diskreten W-Räumen (Ω, P) ist die W-Funktion p : ω ↦ P {ω} ein nützliches Hilfsmittel (→ Satz 1.1.7). Im Falle der uniformen Verteilung ist die W-Funktion identisch 0 und nützt nichts bei der Berechnung von 𝒰.

2. Da es i.a. nicht einfach ist, die Werte P (A) eines W-Maßes P für alle A ∈ A zu berechnen, sucht man nach einem möglichst einfachen Mengensystem D ⊂ A, derart daß P durch seine Werte auf D eindeutig festgelegt ist. Das obige Beispiel zeigt, daß die einpunktigen Mengen dazu i.a. nicht geeignet sind.

Der folgende Satz aus der Maßtheorie, den wir ohne Beweis angeben, sagt, wie ein solches Mengensystem D beschaffen sein muß. Für einen Beweis siehe z.B. [2, Anhang M.4 ].

3. In den Anwendungen rechnet man die meiste Zeit mit der Wahrscheinlichkeit von Ereignissen aus D. Aber ab und zu ist es doch wichtig, daß man nicht auf diese kleine Mengensystem beschränkt ist, sondern sich gedanklich in der von D erzeugten σ-Algebra frei bewegen kann.

2.7.1 Satz (Dynkin: Eindeutigkeit v. W-Maßen) Es seien (Ω, A) ein Meßraum und P, Q zwei W-Maße auf A. Ist D ⊂ A ein ⋂-stabiles Mengensystem und stimmen P und Q auf D überein, so stimmen sie auch auf der erzeugten σ-Algebra σ(D) überein. Wenn also σ(D) = A ist, so folgt P = Q.

Dabei bedeutet, D ist ⋂-stabil:

D ∩ E ∈ D für alle D, E ∈ D.

2.7.2 Bsp. (zum Satz von Dynkin) Das Mengensystem

D := {(−∞, x_{1}] × ⋯ × (−∞, x_{n}] | x ∈ ℝ^{d}}

ist ⋂-stabil und erzeugt die Borel-Algebra B(ℝ^{d}). Satz 2.7.1 führt zu der Definition 2.8.1 der Verteilungsfunktion F (x) := P ((−∞]) eines W-Maßes auf ℝ.

Bsp. Sei Ω = {1, 2, 3, 4} und D = {{1, 2}, {2, 3}}. Da

{1} = {1, 2} \ {2, 3},
{2} = {1, 2} ∩ {2, 3},
{3} = {2, 3} \ {1, 2},
{4} = Ω \ ({1, 2} ∪ {2, 3})

gilt, ist die von D erzeugte σ-Algebra gleich der Potenzmenge 2^{Ω}.

D ist nicht ⋂-stabil. Hier sind zwei verschieden W-Maße auf Ω, die auf D übereinstimmen:

P Laplace-W. auf Ω,

Q := P (·|{2, 4}).

Dieses Beispiel zeigt, daß im Satz 2.7.1 die Voraussetzung, das erzeugende System D ist ⋂-stabil, wirklich benötigt wird.

2.8 Verteilungsfunktion

Anmerkung. Das Beispiel 2.7.2 führt zu der folgenden Definition:

2.8.1 Def. (Verteilungsfunktion) Ein W-Maß P auf B(ℝ^{d}) ist eindeutig durch seine Verteilungsfunktion

F : ℝ^{d} → [0, 1],
F : x ↦ P ((−∞, x_{1}] × ⋯ × (−∞, x_{n}])

festgelegt.

Manchmal nennt man F auch kurz die Verteilung von P. Die Bezeichnung ”Verteilung“ wird aber ebenfalls für das Bildmaß einer Zufallsvariablen benutzt. Bei einer Zufallsvariablen X : (Ω, P) → ℝ^{d} muß man sorgfältig zwischen dem Bildmaß P_{X} und der Verteilungsfunktion F_{X} von P_{X} unterscheiden! Zur Unterscheidung wird für F_{X} auch die Bezeichnung kumulative Verteilung verwendet.

2.8.2 Festst. (Verteilungsfkt. rechtsseitig stetig) Es sei P ein W-Maß auf (ℝ, B(ℝ)) mit Verteilungsfunktion F. Dann gilt

(i) Für jede monoton fallende Folge (x_{n})_{n}, mit

lim_{n→∞} x_{n} = b gilt

lim_{n→∞} F (x_{n}) = P ( ⋂_{n=1}^{∞}(−∞, x_{n}]) = P ((−∞, b]) = F (b).

F ist also rechtsseitig stetig.

(ii) Für jede monoton fallende Folge (x_{n})_{n}, mit

lim_{n→∞} x_{n} = −∞ gilt

lim_{n→∞} F (x_{n}) = P ( ⋂_{n=1}^{∞}(−∞, x_{n}]) = P (∅) = 0.

Es ist also lim_{x→−∞} F (x) = 0.

(iii) Für jede monoton wachsende Folge (x_{n})_{n}, mit

lim_{n→∞} x_{n} = ∞ gilt

lim_{n→∞} F (x_{n}) = P ( ⋃_{n=1}^{∞}(−∞, x_{n}]) = P ((−∞, ∞) = 1.

Es ist also lim_{x→∞} F (x) = 1.

Anmerkung. In der Maßtheorie zeigt man die Umkehrung zu Feststellung 2.8.2.

2.8.3 Satz (Maß zu einer Verteilungsfkt.) Sei F : ℝ → [0, 1] eine monoton wachsende, rechtsseitig stetige Funktion mit

lim_{x→−∞} F (x) = 0 und lim_{x→∞} F (x) = 1.

Dann gibt es genau eine W-Maß P auf der Borel-Algebra B(ℝ), so daß F die Verteilungsfunktion von P ist:

P ((−∞, x]) = F (x) für x ∈ ℝ.

Anmerkung. (Zum Bew. von Satz 2.8.3) 1. Wir konstruieren das gesuchte Maß P als die Verteilung einer Zufallsvariablen

X : (0, 1) → ℝ,

die man die Quantilfunktion von F nennt.

Dabei trägt (0, 1) die uniforme Verteilung 𝒰 (→ Beispiel 2.5.7). und P ist das Bildmaß 𝒰_{X}. Die Abbildung X ist eine Art ”Umkehrfunktion“ zu F. Die genaue Konstruktion, die noch weitere Anwendungen findet, formulieren wir in Feststellung 2.8.4.

2. Wenn F : ℝ → (0, 1) stetig und streng monoton wachsend ist, und

lim_{x→−∞} F (x) = 0 und lim_{x→∞} F (x) = 1.

gilt, so folgt aus dem Zwischenwertsatz, daß das Bild F (ℝ) = (0, 1) ist. F ist also bijektiv und hat eine stetige Umkehrfunktion X : (0, 1) → ℝ, die die gewünschte Gleichung (2.8.2) erfüllt.

3. Wenn F nur monoton wachsend ist oder Sprungstellen hat, definiert man eine verallgemeinerte Umkehrfunktion, die sogenannte Quantilfunktion:

2.8.4 Festst. (Quantilfunktion) Sei F : ℝ → [0, 1] eine monoton wachsende, rechtsseitig stetige Funktion mit

lim_{x→−∞} F (x) = 0 und lim_{x→∞} F (x) = 1.

(i) Die Quantilfunktion (Quantil-Transformation) X zu F wird definiert durch

X(t) := min{x ∈ ℝ | F (x) ≥ t} für t ∈ (0, 1). (2.8.1)

Man beachte, da F rechtsseitig stetig ist, wird das Minimum in Gleichung (2.8.1) wirklich angenommen. Man zeichne ein Bild, das zeigt

– was in einer Sprungstelle von F passiert,

– was passiert, wenn F auf einem Teilintervall konstant ist

und wie X jeweils aussieht.

(ii) Nach Konstruktion der Quantilfunktion X gilt für t ∈ (0, 1), x ∈ ℝ

X(t) ≤ x ⇔ t ≤ F (x)
X^{−1}((−∞, x]) = (0, F (x)] ∈ B((0, 1),  (2.8.2)

Aus Gleichung (2.8.2) folgt, daß X : ((0, 1), B((0, 1)) → (ℝ, B(ℝ)) meßbar ist.

Anmerkung. Aus Gleichung (2.8.2) folgt für das Bildmaß der Quantilfunktion X:

2.8.5 Folg. (Verteilung der Quantilfunktion) Die Quantilfunktion X ist eine reelle Zufallsvariable auf dem W-Raum (0, 1) mit der uniformen Verteilung 𝒰 und es gilt

𝒰(X^{−1}(−∞, x]) = 𝒰((0, F (x)]) = F (x).

D.h. F ist die Verteilungsfunktion ihrer Quantilfunktion X.

Anmerkung. Da jedes W-Maß P auf (ℝ, B(ℝ)) durch seine Verteilungsfunktion F eindeutig bestimmt ist (→ Definition 2.8.1), kann man die Folgerung 2.8.5 auch so aussprechen:

2.8.6 Folg. Jedes W-Maß P auf (ℝ, B(ℝ)) ist Bildmaß einer reellen Zufallsvariablen auf dem Wahrscheinlichkeitsraum ((0, 1), B(0, 1), 𝒰_{(0,1)}).

Anmerkung. Da viele Programmiersprachen eine Funktion (random) bieten, die eine uniform auf (0, 1) verteilte Zufallsvariable nachbilden, ermöglicht die Konstruktion in Folgerung 2.8.6 die Simulation beliebiger reellwertiger Zufallsprozesse.

Anmerkung. (Quartile und Median) Mit der Quantilfunktion bestimmt man die sogenannten Quantile eines W-Maßes P, bzw einer Verteilungsfunktion F, bzw einer Zufallsvariablen X. Eine Zahl q ∈ ℝ heißt ein α-Quantil, 0 < α < 1, von P, wenn

P ((−∞, q]) ≥ α und P ([q, ∞)) ≥ 1 − α.

Ein \frac{1}{2} -Quantil q_{1/2} heißt ein Median. Ein Median ist ein Punkt in R, an dem die Verteilungsfunktion das Niveau 1/2 gerade übersteigt oder überspringt. Im Fall einer Sprungstelle zählt dieser Punkt sowohl bei der linken wie bei der rechten Hälfte mit. Wenn die Verteilungsfunktion in diesem Punkt nicht strikt monoton wächst, ist der Median nicht eindeutig bestimmt.

Ist P die Verteilung einer reellen Zufallsvariablen X, so besagt ” q ist ein α-Quantil von X“, daß die Wahrscheinlichkeit für Beobachtungen von X,

die ≤ q sind, mindestens α ist,

die ≥ q sind, mindestens (1 − α) ist.

Für eine reelle Zufallsvariable X auf einem Laplaceraum teilt das 1/4-Quantil q_{1/4} grob gesprochen die Anzahl der Beobachtungen von X in einer langen Beobachtungsreihe im Verhältnis 1/4 zu 3/4 auf.

2.9 Dichtefunktion, stetige Verteilungen

Anmerkung. (Lebesgue-Maß und Lebesgue-Integral)

1. Auf (ℝ, B(ℝ)) existiert eindeutig ein Maß λ so, daß das Maß λ(I) eines jeden beschränkten Intervalls I gleich seiner Länge ist. Dieses Maß λ heißt das Lebesgue-Maß auf den Borel-Mengen B(ℝ).

Definiert wird das Lebesgue-Maß auf B(ℝ) wie folgt: Ist G ⊂ ℝ offen, so ist G Vereinigung von abzählbar vielen offenen Intervallen

G = ⋃_{n=1}^{∞}(a_{n}, b_{n}), wobei −∞ ≤ a_{n} < b_{n} ≤ ∞ gilt. Man setzt dann

λ(G) = \begin{cases}∑_{n=1}^{∞}(b_{n} − a_{n}) & wenn alle a_{n}, b_{n} ∈ ℝ, \\ ∞ & sonst. \end{cases}

Für eine beliebige Menge A ∈ B(ℝ) betrachtet man alle offenen Mengen G, die A umfassen und setzt dann

λ(A) = inf_{A⊂G} λ(G).

Nun kann man zeigen, daß so ein eindeutiges, wohldefiniertes Maß λ auf B(ℝ) erklärt wird, und, daß für Intervalle I das Lebesgue-Maß λ(I) die Länge des Intervalls ist.

2. Analog gibt es auf dem (ℝ^{d}, B(R^{n})) eindeutig das ddimensionale Lebesgue-Maß λ^{d}, welches für Quader und andere elementare Körper den elementaren Inhalt angibt.

3. Da λ(ℝ) = ∞ ist, kann man durch Normierung aus ℝ keinen W-Raum machen. Um weitere Beispiel zu gewinnen, gehen wir folgendermaßen vor: Wenn f : ℝ → [0, ∞) eine intergrierbare, nichtnegative Funktion mit

∫_{−∞}^{∞} f(x) dx = 1  (∗)

ist, so setze man für Intervalle (a, b], −∞ ≤ a < b < ∞,

P_{f} ((a, b]) = ∫_{a}^{b} f(x) dx.  (∗∗)

Dies erzeugt dann ein eindeutig bestimmtes W-Maß P_{f} auf den Borel-Mengen B(ℝ). Man nennt f die Dichtefunktion dieses Maßes P_{f}.

4. Wir müssen noch ein paar Worte darüber verlieren, was integrierbare Funktion bedeutet und was das das Integral in der Gleichung (∗) bzw. (∗∗) eigentlich ist. Für eine tragkräftige Theorie braucht man hier das Lebesgue-Integral, Dieses ist eine Erweiterung des Riemann-Integrals mit vielen schönen und praktischen Eigenschaften, die man bei dem enger gefaßten Riemann-Integral noch nicht findet.

In vielen praktischen Fällen ist die Funktion f stetig oder stückweise stetig, so daß man die Integrale (∗) und (∗∗) mit Hilfe einer Stammfunktion F bilden kann:

P_{f} ((a, b]) = ∫_{a}^{b} f(x) dx = F (b) − F (a)  (∗∗′)
P_{f} (ℝ) = ∫_{−∞}^{∞} f(x) dx = lim_{x→∞} F (x) − lim_{y→−∞} F (y)  (∗′)

Aber auch in diesem einfachen Fall ist das Lebesgue-Integral, das natürlich den selben Wert hat, ein nützlicher Helfer.

5. Wir geben die allgemeine Definition einer Dichtefunktion, beschränken uns in den Beispielen dann aber auf den stückweise stetigen Fall.

2.9.1 Def. (Dichtefunktion, stetiges W-Maß) Eine integrierbare, nicht-negative Funktion f : ℝ → [0, ∞) heißt Dichtefunktion eines Wahrscheinlichkeitsmaßes P auf B(ℝ), wenn für alle a, b mit −∞ ≤ a < b < ∞ gilt

P ((a, b]) = ∫_{a}^{b} f(x) dx.  (2.9.1)

Man nennt f auch Wahrscheinlichkeitsdichte oder kurz Dichte von P.

Ein Wahrscheinlichkeitsmaß auf B(ℝ) mit Dichtefunktion heißt ein stetiges W-Maß.

Anmerkung.

1. Wir benötigen im folgenden nur den Fall, daß f stetig oder stückweise ist.

2. Wenn ein W-Maß P auf B(ℝ) eine Dichtefunktion f hat, so ist diese nicht ganz eindeutig bestimmt. So kann man f in endlich vielen Punkten abändern, ohne den Wert des Integrals (2.9.1) zu verändern.

Man kann zeigen, sind f_{1} und f_{2} Dichtefunktionen von P, so ist die Menge {f_{1} ≠ f_{2}} eine Lebesgue-Nullmenge:

λ{f_{1} ≠ f_{2}} = 0.

Dann ist auch P {f_{1} ≠ f_{2}} = 0.

2.9.2 Festst. (Verteilungs- und Dichtefunktion) Es sei P ein W-Maß auf ℝ mit Verteilungsfunktion F.

1. f ist genau dann die Dichtfunktion von P, wenn

F (x) = ∫_{−∞}^{x} f(ξ) dξ für x ∈ ℝ  (2.9.2)

gilt.

2. Man kann den Begriff der Ableitung einer Funktion dahingehend verallgemeinern, daß man die Gleichung (2.9.2) als F′ = f schreiben kann. Wir wollen diese Verallgemeinerung nicht weiter verfolgen. Aus dem Hauptsatz der Differential und Integralrechnung folgt:

Ist die Verteilungsfunktion F bis auf endlich viele Ausnahmepunkte stetig differenzierbar und gilt F′ = f, so ist f die Dichtefunktion von P.

2.9.3 Bsp. (Dichtfnkt. der uniform. Verteilng.) 1. Ein W-Maße P auf einem Intervall I kann man als W-Maße auf ganz ℝ auffassen. Man setze

P (A) := P (A ∩ I) für A ∈ B(ℝ).

Das so fortgesetzte W-Maß P ist auf I konzentriert und die bedingte Wahrscheinlichkeit P (.|I) = P.

2. Faßt man die uniforme Verteilung 𝒰_{[0,1]} im obigen Sinne als W-Maß auf ℝ auf, so hat 𝒰_{[0,1]} die Verteilungsfunktion

F (x) := \begin{cases}0 & für x < 0, \\ x & für 0 ≤ x ≤ 1, \\ 1 & für x > 1. \end{cases}

und die Dichtefunktion

f(x) := \begin{cases}0 & für x < 0, \\ 1 & für 0 ≤ x ≤ 1, \\ 0 & für x > 1. \end{cases}

Da es auf einzelne Werte der Dichtefunktion nicht ankommt, kann man auch f in den Punkten 0 und 1 auf den Wert 0 setzen. D.h, f = 1l_{[0,1]} oder f = 1l_{[0,1)} usw.

2.9.4 Bem. (Dichtefunktion auf ℝ^{d}) Es sei P ein W-Maß auf (ℝ^{d}, B(ℝ^{d})) mit Verteilungsfunktion

F (x_{1}, …, x_{d}) = P ((−∞, x_{1}] × ⋯ × (−∞, x_{d}])

für x = (x_{i})_{i=1}^{d} ∈ ℝ^{d}. Eine integrierbare, nichtnegative Funktion f : ℝ^{d} → [0, ∞) ist die Dichtefunktion des W-Maßes P, wenn für alle x = (x_{i})_{i=1}^{d} ∈ ℝ^{d} gilt

F (x_{1}, …, x_{d}) = ∫_{−∞}^{x_{1}} ⋯ ∫_{−∞}^{x_{d}} f(ξ_{1}, …, ξ_{d}) dξ_{1} ⋯ dξ_{d}.

Dann gilt für alle Quader A = (a_{1}, b_{1}] × (a_{d}, b_{d}]

P (a) = ∫_{a_{1}}^{b_{1}} ⋯ ∫_{a_{d}}^{b_{d}} f(ξ_{1}, …, ξ_{d}) dξ_{1} ⋯ dξ_{d}.

2.10 Exponentialverteilung

2.10.1 Bez. (Exponentialverteilung) Die Exponentialverteilung ist das kontinuierliche Analogon zur geometrischen Verteilung (→ Beispiel 2.1.3).

(i) Die Exponentialverteilung mit dem Parameter λ > 0 hat die Dichtefunktion

f(x) = \begin{cases}λe^{−λx} & für x > 0, \\ 0 & für x ≤ 0 \end{cases}
= λe^{−λx}1l_{(0,∞)}(x).

und die Verteilungsfunktion

F (x) = \begin{cases}1 − e^{−λx} & für x > 0, \\ 0 & für x ≤ 0 \end{cases}
= (1 − e^{−λx})1l_{(0,∞)}(x).

Für die Quantilfunktion erhält man

X(t) := −\frac{log(1 − t)}{λ} für t ∈ (0, 1).

(ii) Die Bedeutung des Parameters λ > 0 erklärt sich aus dem → Erwartungswert und der → Varianz einer exponentialverteilten Zufallsvariablen X:

E(X) = ∫_{0}^{∞} xλe^{−λx} dx = \frac{1}{λ},
Var(X) = E(X^{2}) − (EX)^{2} = \frac{1}{λ^{2}} .

Anmerkung. In den folgenden beiden Bemerkungen diskutieren wir Zufallsexperimente, in denen die Exponentialverteilung typischerweise auftritt.

2.10.2 Bem. (geom. Vert. → exp.Vert.) Um den Zusammenhang zur geometrischen Verteilung (→ Beispiel 2.1.3) herzustellen, sei (X_{n})_{n} eine Folge geometrisch verteilter Zufallsvariabler mit den Parametern p_{n}. Wir setzen voraus, daß lim_{n→∞} np_{n} = λ ist. Der Grenzwert der Erwartungswerte der Variablen X_{n}/n ist dann (→ Feststellung 2.2.5)

E(\frac{X_{n}}{n} ) = \frac{1}{np_{n}} − \frac{1}{n} → \frac{1}{λ}.

Für x > 0 betrachten wir die Wahrscheinlichkeit der Menge

\{\frac{X_{n}}{n} ≤ x\} = \{X_{n} ≤ nx\}

Da die geometrische Verteilung auf ℕ_{0} konzentriert ist, haben {X_{n} ≤ nx} und {X_{n} ≤ ⌊nx⌋} die gleiche Wahrscheinlichkeit, wobei ⌊nx⌋ die größte ganze Zahl ≤ nx ist. Für die Verteilungsfunktion von X_{n}/n folgt nun

P_{X_{n}/n}((−∞, x]) = P_{X_{n}}((−∞, ⌊nx⌋])

= ∑_{k=0}^{⌊nx⌋} (1 − p_{n})^{k}p_{n}

= 1 − (1 − p_{n})^{⌊nx⌋+1}

= 1 − (1 − \frac{np_{n}}{n} )^{⌊nx⌋+1}.

Für n → ∞ konvergiert dies gegen 1 − e^{−λx} (→ Bemerkung 2.4.4) Somit ist X_{n}/n für große n annähernd exponentialverteilt mit dem Parameter λ = lim_{n→∞} np_{n}.

Anmerkung. (Interpretation der Rechnung in Bem. 2.10.2) Die geometrische Verteilung 𝒢_{p}{k}, k ∈ ℕ_{0}, gibt die Wahrscheinlichkeit an, daß in einem oft genug wiederholten Bernoulli-Experiment mit Erfolgswahrscheinlichkeit p der erste Erfolg nach k Mißerfolgen eintritt. Man stelle sich vor, daß die einzelnen Bernoulli-Experimente in einem festen Takt mit Taktzeit 1 durchgeführt werden. Verkürzt man die Taktzeit auf 1/n, n ∈ ℕ, so sei die Erfolgswahrscheinlichkeit p_{n}. Die Zufallsvariable X_{n} gebe an, wieviele Takte der Länge 1/n vergangen sind, bis der erste Erfolg eintritt. Die Zufallsvariable X_{n}/n gibt grob gesagt die Zeit an, die verstrichen ist, bis der erste Erfolg eintritt.

Die getroffene Voraussetzung np_{n} → λ besagt, daß der Erwartungswert für die Zeit bis zum ersten Erfolg gegen 1/λ konvergiert. Die Rechnung zeigt, daß dann die Verteilungsfunktion von X_{n}/n gegen die Verteilungsfunktion der Exponentialverteilung zum Parameter λ konvergiert.

2.10.3 Bem. Wir erinnern an das Beispiel 2.4.5 der Anzahl der Schadensmeldungen, die bei einer Versicherung nach dem Zeitpunkt 0 bis einschließlich zum Zeitpunkt t > 0 eingehen. Wenn λ > 0 die durchschnittliche Zahl der Schadensmeldungen in einem Zeitraum der Länge 1 ist, so ist die Anzahl der Schadensmeldungen im Zeitraum (0, t] Poisson-verteilt mit dem Parameter λt.

Wir fragen nun nach der Wahrscheinlichkeit P ((0, t]), daß im Zeitraum (0, t], (t > 0), mindestens ein Schaden gemeldet wurde:

P ((0, t]) = ∑_{k=1}^{∞} 𝒫_{λt}{k} = 1 − 𝒫_{λt}{0} = 1 − e^{−λt}.

Da wir erst die Schäden nach dem Zeitpunkt 0 registrieren, ist P ((−∞, 0]) = 0. Die Wahrscheinlichkeit für mindestens einen Schadensfall bis zum Zeitpunkt t ist also exponentialverteilt mit Parameter λ:

P ((−∞, t]) = \begin{cases}1 − e^{−λt} & (t > 0), \\ 0 & (t ≤ 0). \end{cases}

Anmerkung. Wir halten fest, bei einem Experiment mit rein zufällig auftretenden Zeitpunkten, ist die Anzahl der Zeitpunkte im Zeitintervall (0, t] Poisson-verteilt mit Parameter λt und die Wartezeit auf den ersten Zeitpunkt exponentialverteilt mit Parameter λ. Dabei ist λ die durchschnittliche Anzahl der Zeitpunkte pro Zeiteinheit und 1/λ die durchschnitliche Wartezeit.

Eine exakte Untersuchung findet man in den Lehrbüchern zur Wahrscheinlichkeitstheorie unter dem Stichwort Poisson-Prozess.

2.11 Normalverteilung

Anmerkung. (Formeln zur Normalverteilung) Die Funktion

φ : x ↦ \frac{1}{\sqrt{2π}} e^{−x^{2}/2} für x ∈ ℝ  (2.11.1)

ist positiv und symmetrisch um den Nullpunkt. Die Funktion φ fällt sehr schnell, so daß für alle Potenzen k ∈ ℕ_{0}

lim_{x→±∞} x^{k}φ(x) = 0  (2.11.2)

ist. Man kann zeigen, daß diese Funktion keine Stammfunktion innerhalb der elementaren Funktionen (x^{y}, log x, e^{x}, sin x, cos x, …) hat. Man bezeichnet die Stammfunktion mit

Φ : x ↦ ∫_{−∞}^{x} e^{−ξ^{2}/2} dξ für x ∈ ℝ.  (2.11.3)

und nennt sie die Gaußsche Fehlerfunktion oder wegen der Form ihres Graphens auch die Gaußsche Glockenfunktion. Dabei ist die Integrationskonstante so gewählt, daß

lim_{x→−∞} Φ(x) = 0  (2.11.4)

ist. Der Faktor 1/\sqrt{2π} in der Definition von φ ist so gewählt, daß

lim_{x→∞} Φ(x) = \frac{1}{\sqrt{2π}} ∫_{−∞}^{∞} e^{−ξ^{2}/2} dξ = 1  (2.11.5)

wird. Φ ist stetig differenzierbar mit Ableitung Φ′ = φ. Da φ > 0 ist, ist

Φ strikt monoton wachsend.  (2.11.6)

Die Gleichung (2.11.4),(2.11.4) und (2.11.6) besagen, daß Φ Verteilungsfunktion eines W-Maßes auf ℝ ist (→ Satz 2.8.3).

Da φ symmetrisch um den Nullpunkt ist, ist der Mittelwert dieses W-Maßes

∫_{−∞}^{∞} xφ(x) dx = 0.  (2.11.7)

Es ist \frac{d}{dx} φ(x) = −xφ(x). Durch partielle Integration erhält man

∫_{−∞}^{∞} x^{2}φ(x)) dx = −{x · φ(x)|_{−∞}^{∞} + ∫_{−∞}^{∞} φ(x) dx = 1 (2.11.8)

und somit ist die Varianz = 1.

Einige Werte von Φ

\begin{matrix}x & 0 & 0.67 & 1, 00 & 1, 28 & 1, 64 & 1, 96 & 2, 33 & 3, 008 \\ Φ(x) & 0, 5 & 0, 75 & 0, 84 & 0, 90 & 0, 95 & 0, 975 & 0, 99 & 0, 999 \end{matrix}

(2.11.9)

Die Werte für x < 0 erhält man aus der Symmetrie Φ(−x) = 1 − Φ(x).

2.11.1 Bez. (Standard-Normalverteilung) Das Wahrscheinlichkeitsmaß auf (ℝ, B(ℝ)) mit der Dichtefunktion

φ(x) := \frac{1}{\sqrt{2π}} e^{−x^{2}/2} für x ∈ ℝ

und der Verteilungsfunktion

Φ : x ↦ ∫_{−∞}^{x} e^{−ξ^{2}/2} dξ für x ∈ ℝ.

heißt die Standard-Normalverteilung auf ℝ.

Der Erwartungswert der Standard-Normalverteilung ist 0 und die Varianz ist 1. Daher wird die Standard-Normalverteilung mit 𝒩_{0,1} bezeichnet.

Anmerkung. Durch Substitution

x = \frac{ξ − μ}{σ} und dx = \frac{1}{σ} dξ

folgt aus den Gleichungen (2.11.5) –(2.11.8)

∫_{−∞}^{∞} \frac{1}{σ} φ( \frac{ξ − μ}{σ} ) dξ = 1,

∫_{−∞}^{∞} ξ \frac{1}{σ} φ( \frac{ξ − μ}{σ} ) dξ = μ

∫_{−∞}^{∞} ξ^{2} \frac{1}{σ} φ( \frac{ξ − μ}{σ} ) dξσ^{2} + μ^{2}.

Also ist x \frac{1}{σ} ↦ φ( \frac{ξ−μ}{σ} ) die Dichtefunktion eines W-Maßes mit

Mittelwert μ und Varianz σ^{2}.

Für die zugehörige Verteilungsfunktion erhält man mit der Substitution ξ = σt + μ

∫_{−∞}^{x} \frac{1}{σ} φ( \frac{ξ − μ}{σ} ) dξ = ∫−∞^{\frac{x−μ}{σ}} φ(t) dt = Φ( \frac{x − μ}{σ} ). (2.11.10)

Durch Verschiebung und Skalierung erhält man aus der Standard-Normalverteilung eine ganze Familie von W-Maßen.

2.11.2 Bez. (Normalverteilungen 𝒩_{μ,σ2}) Das W-Maß auf (ℝ, B(ℝ)) mit der Dichtefunktion

\frac{1}{σ} φ(\frac{ξ − μ}{σ}) = \frac{1}{\sqrt{2πσ^{2}}} exp ( − \frac{(x − μ)^{2}}{2σ^{2}} )

heißt die Normalverteilung mit Mittelwert μ und Varianz σ^{2}. Es wird mit 𝒩_{μ,σ^{2}} bezeicnet. Die zugehörige Verteilungsfunktion ist

∫_{−∞}^{x} \frac{1}{σ} φ(\frac{ξ − μ}{σ}) dξ = Φ(\frac{x − μ}{σ}),

wobei Φ die Verteilungsfunktion von 𝒩_{0,1} ist.

2.11.3 Festst. (affine Transform. normalvertl. ZV) (i) Es sei X eine Zufallsvariable mit der Verteilung 𝒩_{μ,σ^{2}}. Für α, β ∈ ℝ, α ≠ 0 hat dann Y := αX + β die Verteilung 𝒩_{αμ+β,(ασ)^{2}}.

(ii) Es seien α, β ∈ ℝ, α > 0. Dann gilt für x ∈ ℝ

N_{μ,σ^{2}}\{−∞, \frac{x − β}{α} \} = N_{αμ+β,(ασ)^{2}}\{−∞, t\}.

(iii) Wenn X normalverteilt mit den Parametern μ und σ^{2} ist, dann ist die zentrierte normalisierte Zufallsvariable X^{∗} = (X − μ)/σ standard-normalverteilt (→ Bezeichnung 2.12.1)

(iv) Für μ, σ ∈ ℝ, σ > 0

N_{0,1}\{−∞, \frac{x − μ}{σ}\} = N_{μ,σ^{2}}\{−∞, x\}.

Beweis. (i) Klar ist, daß

E(αX + β) = αE(X) + β,
Var(αX + β) = α^{2} Var(X)

ist. Zu zeigen ist, daß Y normalverteilt ist. Es sei zunächst α > 0

Da

\{Y ≤ y\} = \{αX + β ≤ y\} = \{X ≤ \frac{y − β}{α} \}

hat die Verteilungsfunktion F_{Y} die Gestalt

F_{Y} (y) = ∫−∞^{\frac{y−β}{α}} \frac{1}{σ} φ( \frac{ξ − μ}{σ} ) dξ

= ∫_{−∞}^{y} \frac{1}{ασ} φ( \frac{η − (αμ + β)}{ασ} ) dη

wobei ξ = \frac{η−β}{α} substituiert wurde. Die Dichtefunktion von F_{Y} ist also

y ↦ \frac{1}{ασ} φ( \frac{y − (αμ + β)}{ασ} )

und folglich ist Y normalverteilt mit Erwartungswert αμ + β und Varianz (ασ)^{2}.

Die Aussagen (ii) , (iii) und (iv) folgen nun aus (i)

2.12 Grenzwertsatz von Moivre-Laplace

2.12.1 Bez. (normierte zentrierte ZV) Um Zufallsvariable bsser vergleichen zu können verschiebt und skaliert man ihre Werte so, daß der Erwartungswert zu 0 und die Varianz zu 1 wird:

zentrieren: Zu einer Zufallsvariablen X mit Erwartungswert μ bilde man Y = X − μ. Dann ist E(Y) = 0.

normieren: Zu einer Zufallsvariablen Y mit Varianz σ^{2} bilde man Z = Y/σ. Dann ist Var(Z) = 1.

normieren-zentrieren Zu einer Zufallsvariablen X mit Erwartungswert μ und Varianz σ^{2} bilde man

X^{∗} := \frac{X − μ}{σ}.

X^{∗} ist dann zentriert und normiert:

E(X^{∗}) = 0, Var(X^{∗}) = 1.

2.12.2 Satz (Moivre-Laplace) Es sei (X_{k})_{k} eine Folge binomialverteilter Zufallsvariabler mit dem jeweiligen Parameter n_{k} ∈ ℕ, p_{k} ∈ (0, 1). Wenn

lim_{k→∞} Var(X_{k}) = ∞

ist, dann konvergieren die Verteilungsfunktionen F_{X_{k}^{∗}} der normierten und zentrierten Zufallsvariablen

X_{k}^{∗} := \frac{X_{k} − E(X_{k})}{\sqrt{Var(X_{k})}} = \frac{X_{k} − n_{k}p_{k}}{\sqrt{n_{k}p_{k}(1 − p_{k})}}

gegen die Standard-Normalverteilung. Die Konvergenz ist gleichmäßig auf ℝ:

lim_{k→∞} sup_{x∈ℝ} |F_{X_{k}^{∗}}(x) − Φ(x)| = 0.

2.12.3 Folg. (Moivre-Laplace) Es seien 0 < p < 1 und (S_{n})_{n} eine Folge ℬ_{n,p}-verteilter Zufallsvariablen. Dann gilt

lim_{n→∞} sup_{a<b} |P {a < S_{n}^{∗} ≤ b} − Φ(b) − Φ(a)| = 0.

Anmerkung. (zum Satz von Moivre-Laplace) 1. Der Satz von Moivre-Laplace ist ein Spezialfall des zentralen Grenzwertsatzes.

2. Man benötigt nur die Voraussetzung, daß die X_{k} binomialverteilt sind und ihre Varianzen

Var(X_{k}) = n_{k}p_{k}(1 − p_{k}) → ∞ für k → ∞.

Dann konvergieren auch die Erwartungswerte

E(X_{k}) = n_{k}p_{k} ≥ n_{k}p_{k}(1 − p_{k}) → ∞

und die Anzahlen n_{k} → ∞. Die p_{k} müssen nur 0 < p_{k} < 1 erfüllen, ansonsten ist ihr Verhalten für k → ∞ unwichtig.

3. Man beachte, daß die Verteilungen F_{X_{k}^{∗}} konvergieren. Es wird nichts über die Konvergenz der Zufallsvariablen X_{k}^{∗} gesagt. Letzteres macht auch keinen Sinn, denn die X_{k} haben zwar alle ihre Werte in ℕ_{0} ⊂ ℝ, sie können aber ganz unterschiedliche Definitionsbereiche haben: X_{k} : (Ω_{k}, P_{k}) → ℕ_{0}.

4. Der Satz sagt etwas über die Konvergenz der Bildmaße (P_{k})_{X_{k}^{∗}} aus. Die Zufallsvariablen sind eigentlich überflüssig, machen aber die Formulierung anschaulicher.

Man kann den Satz von Moivre-Laplace auch als Grenzwertsatz für Folgen (ℬ_{n_{k},p_{k}})_{k} von Binomialverteilungen formulieren. Bei dem Bewesis eines vorbereitenden Hilfssatzes, des lokalen Grenzwertsatzes, werden wir diesen Standpunkt auch einnehmen.

2.12.4 Folg. (Approximation der BinomialV.) Es sei 0 < p < 1. Dann gilt für n → ∞

sup_{t∈ℝ} |ℬ_{n,p}((−∞, t]) − 𝒩_{np,np(1−p)}((−∞, t])| → 0.

Also ist für k, l ∈ ℕ_{0}

ℬ_{n,p}((−∞, k]) ≈ Φ(\frac{k − np}{\sqrt{np(1 − p)}})

und

B_{n,p}\{k, …, l\} = Φ(\frac{l − np}{\sqrt{np(1 − p)}}) − Φ(\frac{k − np}{\sqrt{np(1 − p)}}).

Die Approximation wird noch etwas besser, wenn man die sogenannte Stetigkeitskorrektur vornimmt:

ℬ_{n,p}((−∞, k]) ≈ Φ( \frac{k + \frac{1}{2} − np}{\sqrt{np(1 − p)}} )

und

B_{n,p}\{k, …, l\} = Φ( \frac{l + \frac{1}{2} − np}{\sqrt{np(1 − p)}} ) − Φ( \frac{k − \frac{1}{2} − np}{\sqrt{np(1 − p)}} ).

Mit heutigen Computeralgebraprogrammen kann man ℬ_{n,p} auch für große n recht genau berechnen. Für formelmäßige Rechnungen ist aber die Näherung durch die Gaußsche Fehlerfunktion überlegen.

Anmerkung. Das folgende Bsp. ist dem Lehrbuch [1] von Krengel entnommen:

2.12.5 Bsp. (Bestimmung: Stichprobenumfang) Wir wollen den Prozentsatz der Wähler einer Partei A schätzen. Werden n Wähler befragt und sind darunter S_{n} Wähler der Partei A, so sei S_{n}/n der Schätzer für die Wahrscheinlichkeit p, daß ein zufällig ausgewählter Wähler für die Partei A stimmt.

Wie groß muß n sein, damit die Wahrscheinlichkeit eines Irrtums in der Schätzung von p von mehr als 1% kleiner als 0, 05 ist?. Es soll also gelten

P \{ − 0, 01 ≤ \frac{S_{n}}{n} − p ≤ 0, 01\} ≈ 0, 95.

Wir nehmen an, daß die Befragungen unabhängig sind und somit die S_{n} ℬ_{n,p} verteilt sind.

Mit μ_{n} = np und σ_{n} = \sqrt{np(1 − p)} ergibt sich mit Folgerung 2.12.3

0, 95 ≈ P \{ − \frac{0, 01n}{σ_{n}} ≤ S_{n}^{∗} ≤ \frac{0, 01n}{σ_{n}}\}

≈ Φ(\frac{0, 01n}{σ_{n}}) − Φ( − \frac{0, 01n}{σ_{n}})

= 2Φ(\frac{0, 01n}{σ_{n}}) − 1.

Also Φ(0, 01n/σ_{n}) ≈ 0, 975.

Aus der Tabelle (2.11.9) entnimmt man Φ^{−1}(0, 975) = 1.96. Also muß

\frac{0, 01}{\sqrt{np(1 − p)}} ≈ 1, 96 ⇔ n ≈ p(1 − p)10.000 · 1, 96^{2}

sein.

Nun ist p leider unbekannt. Da aber max_{0<p<1} p(1 − p) =

0, 25 ist kommt man in jedem Fall mit

n = 0.25 · 10.000 · 1.96^{2} = 9600

Befragungen aus. Hat man von vorneherein die Information, daß p ≤ 0, 1 ist, so ist max_{0<p<0,1} p(1 − p) = 0, 1 · 0, 9 =

0, 09. Man kommt nun mit

n = 0, 09 · 10.000 · 1, 96^{2} = 3450

Befragungen aus.

Literatur

Lehrbücher

[1] Krengel, U. Einführung in die Wahrscheinlichkeitstheorie und Statistik, 6. Auflage 2002, Vieweg, ISBN 3-528-57259-0

[2] Pfanzagl, J. Elementare Wahrscheinlichkeitsrechnung, 2. Auflage 1991, de Gruyter, ISBN 3-11-013384-9

[3] Henze, N. Stochastik für Einsteiger, 4. Auflage, 2003, Vieweg, ISBN 3-528-36894-2

Weitere Literatur

[4] Dehling, H. und B. Haupt Einführung in die Wahrscheinlichkeitstheorie und Statistik, 2003, Springer, ISBN 3-540-43384-8

[5] Dümbgen, L. Stochastik für Informatiker, 2003, Springer, ISBN 3-540-00061-5

[6] Georgii, H.-O. Stochastik: Einführung in die Wahrscheinlichkeitstheorie und Statistik, 2002, de Gruyter, ISBN 3-11-017235-6

[7] Hinderer, K. Grundbegriffe der Wahrscheinlichkeitstheorie, 1972, Springer

[8] Krickeberg, H. und H. Ziezold, Stochastische Methoden, 4. Auflage, 1994, Springer, ISBN 3-540-57792-0