Ueberarbeitete Fassung vom 27. Nov. 2020, betrifft insbesondere Kapit…

…el 2 und Kapitel 5 - 8

vorlesung/05_vorlesung/05_Wahrscheinlichkeiten_Hypothesen.tex

@@ -884,7 +884,8 @@ \section{\textsl{t}-Test - Mittelwerttest}
 lautet, dass sie einen anderen Erwartungswert hat, also $\mu_1 \neq \mu_0$,
 und damit zu einer anderen Grundgesamtheit gehört.
 
-Der Test auf Erwartungswerte, der \textsl{t}-Test wird wie folgt formuliert:
+Der Test auf Vergleich des Erwartungswerts einer Stichprobe, der Einstichproben-\textsl{t}-Test,
+wird wie folgt formuliert:
 \begin{center}
 \begin{tabular}{c|cl}
 $H_0$ & $\mu_1 = \mu_0$ & die Stichprobe hat den gleichen Erwartungswert wie die Grundgesamtheit\\
@@ -929,7 +930,7 @@ \section{\textsl{t}-Test - Mittelwerttest}
 Test der empirischen Varianz einer Stichprobe mit einer bekannten Varianz, den
 F-Test bei Test der Varianzen zweier Stichproben.
 
-Der Test auf Erwartungswerte, der \textsl{t}-Test wird wie folgt formuliert:
+Der Test auf Erwartungswerte, der \textsl{t}-Test, wird wie folgt formuliert:
 \begin{center}
 \begin{tabular}{c|cl}
 $H_0$ & $\mu_1 = \mu_2$ & beide Stichproben haben den gleichen Erwartungswert\\

vorlesung/07_vorlesung/07_Messunsicherheitsfortpflanzung_Teil1.tex

@@ -212,14 +212,16 @@ \section{Konzepte der Messunsicherheitsfortpflanzung (M.U.F.)}
 JCGM 106-Dokument behandelt.
 \end{itemize}
 
-Das historisch älteste Dokument JCGM~100, das für linearisierbare, explizite, univariate, skalare und
-gauß- oder $t$-verteilte indirekte Messgrößen gilt, wurde zunächst erweitert durch das JCGM~101. Die
-in JCGM~101 spezifizierten Monte-Carlo-Methode ermöglicht es, dass man nicht auf die Bestimmung der Unsicherheit
-expliziter, univarter, linearisierbarer Messgrößen begrenzt ist.
+Das historisch älteste Dokument JCGM~100 gilt für explizite, univariate, skalare und
+gauß- oder $t$-verteilte indirekte Messgrößen mit linearem oder linearisierbarem Modell für die
+Abhängigkeit der indirekten Messgröße von den direkten Messgrößen. Es wurde zunächst erweitert durch das JCGM~101. Die
+in JCGM~101 spezifizierte Monte-Carlo-Methode ermöglicht es, dass man nicht auf die Bestimmung der Unsicherheit
+expliziter, univarter indirekter Messgrößen mit linearisierbarem Modell begrenzt ist.
 Es bietet die Möglichkeit auch die Unsicherheit für implizite, multivariate Messgrößen,
 deren direkte Eingangsgrößen beliebig verteilt sein können zu ermitteln. Die Verteilung der
-Größen können eine von Null verschiedene Skewness aufweisen, sie können sogar die Form einer
-U-Verteilung haben. Die Größen können irgendwelchen Verteilungen gehorchen, so dass die
+Größen können eine von Null verschiedene Skewness aufweisen. Sie können sogar die Form einer
+U-Verteilung haben, was beispielsweise bei direkten Größen, die durch Vibrationen beeinflusst
+werden, vorkommen kann. Die Größen können irgendwelchen Verteilungen gehorchen, so dass die
 Wahrscheinlichkeitsverteilungen der indirekten Messgrößen entsprechend einen
 irgendwie gearteten Verlauf aufweisen können.
 
@@ -261,7 +263,7 @@ \section{Konzepte der Messunsicherheitsfortpflanzung (M.U.F.)}
 
 Bei der Schätzung von Modellparametern (Quantifizierung der indirekten Messgrößen)
 spielt vielfach die numerische Zuverlässigkeit des Optimierungsalgorithmus eine
-wichtige Rolle. Wenn wir das Kostenfunktionsbeispiel der Abbn.~\ref{LSoptiExample1NM} und \ref{LSoptiExample1Grad}
+wichtige Rolle. Wenn wir das Kosten\-funktions\-beispiel der Abbn.~\ref{LSoptiExample1NM} und \ref{LSoptiExample1Grad}
 mit dem der Abb.~\ref{LSoptiExample1NM} in Kapitel~\ref{LSoptiExample1SinusRQS} vergleichen,
 erkennen wir, dass die Modellparameter bei Abb.~\ref{LSoptiExample1NM} und \ref{LSoptiExample1Grad}
 in etwa die gleiche Skalierung aufweisen, während die in Abb.~\ref{LSoptiExample1NM} stark unterschiedlich sind. In Abb.~\ref{LSoptiExample1NM} und \ref{LSoptiExample1Grad} sehen wir eine schöne, runde
@@ -393,12 +395,12 @@ \section{M.U.F. für univariate, explizite indirekte Größe, linear von direkte
 \begin{equation}
 \operatorname {Var}\left(Y\right) = \sigma_Y^2  =
 \sum _{{i=1}}^{N} \, c_i^2 \sigma_i^2 \, + \, 2\sum _{{i=1}}^{{N-1}}
-  \sum _{{k=i+1}}^{N} \, c_i c_k \rho_{i,k} \sigma_i \sigma_k
+  \sum _{{k=i+1}}^{N} \, c_i c_k \rho_{i,k} \sigma_i \sigma_k .
 \label{FortpflaKorrStd}
 \end{equation}
 
 Die aus dem Fortpflanzungsgesetz resultierende Messunsicherheit $\sigma_Y$ wird auch
-\textsl{kombinierte Standardabweichung} genannt wird.
+\textsl{kombinierte Standardabweichung} genannt.
 
 Oftmals, so auch im \textsl{Guide} für Messunsicherheit GUM - JCGM 100, wird anstelle der
 Bezeichnung $\rho_{i,k}$ die
@@ -407,6 +409,9 @@ \section{M.U.F. für univariate, explizite indirekte Größe, linear von direkte
 Alternativ, insbesondere im GUM - JCGM 100, gibt es die Schreibweise mit $u$ anstelle der
 Standardabweichungen $\sigma$ als Kürzel für \textsl{uncertainty} oder \textsl{Unsicherheit},
 und heißt in diesem Zusammenhang \textsl{Standardunsicherheit} (engl.\ \textsl{standard uncertainty}).
+Dabei können je nach Anwendung mit den Standardabweichungen $\sigma$ Standardabweichungen je einer
+Einzelstichprobe sein, oder - was häufiger vorkommt - Standardabweichungen der Mittelwerte der Stichproben
+zu den jeweiligen Messgrößen:
 
 \begin{equation}
 {\begin{aligned}
@@ -428,8 +433,8 @@ \section{M.U.F. für univariate, explizite indirekte Größe, linear von direkte
 \operatorname{Cov}(X_i, X_k) \; \equiv \;
 \sigma_{i,k} \; \equiv \; u(X_i,X_k)
 \end{equation}
-Hier sind keine Tippfehler bezüglich der Quadrate, es gilt tatsächlich $u^2(X_i) = u(X_i,X_i)$
-sowie $\sigma^2(X_i) = \sigma(X_i,X_i)$.
+Hier sind keine Tippfehler bezüglich der Quadrate, es gilt tatsächlich $u^2(X_i) = u(X_i,X_i)$ für die Varianzen
+sowie $\sigma^2(X_i) = \sigma(X_i,X_i)$ für die Kovarianzen.
 
 Im JCGM 100-Dokument des \textsl{Guide} für Messunsicherheit GUM in Absatz 5.2.4
 werden als typische Ursachen für die Korrelation von Eingangsgrößen  folgende aufgeführt:
@@ -467,7 +472,7 @@ \section{M.U.F. für univariate, explizite indirekte Größe, Abhängigkeit von
 
 Zunächst beleuchten wir ein Beispiel, bei dem ein Modellparameter $Y$ berechnet wird,
 der sich aus dem Produkt zweier direkter
-Messgrößen $X_1$ und $X_2$ ergibt. Wir beschäftigen uns zunächst mit dem Fall, dass
+Messgrößen $X_1$ und $X_2$ ergibt. Wir beschäftigen uns mit dem Fall, dass
 die beiden direkten Größen nicht von einander abhängen. Sie sollen zwei unterschiedlichen
 und unabhängigen Grundgesamtheiten angehören, d.h.\ unkorreliert sein.
 
@@ -483,10 +488,10 @@ \section{M.U.F. für univariate, explizite indirekte Größe, Abhängigkeit von
 diese miteinander zu multiplizieren
 \begin{equation}
 y \; = \; \left(\frac{1}{J_1} \sum_{j=1}^{J_1} X_{1,j}\right) \,
-          \left(\frac{1}{J_2} \sum_{j=1}^{J_2} X_{2,j}\right)
+          \left(\frac{1}{J_2} \sum_{j=1}^{J_2} X_{2,j}\right) .
 \end{equation}
 Für die Berechnung der kombinierten Standardabweichung von $Y$ bestimmen wir
-die Standardabweichungen der beiden Stichproben $i = 1,2$ zu den Größen $X_1$ und $X_2$.
+die Standardabweichungen $s_i$ der beiden Stichproben $i = 1,2$ zu den Größen $X_1$ und $X_2$:
 \begin{equation}
 s_i \; = \; \sqrt{ \frac{1}{J_i - 1} \sum_{k=1}^{J_i}
  \left( X_{i,k} \; - \; \frac{1}{J_i} \sum_{j=1}^{J_i} X_{i,j}\right)^2 }
@@ -529,22 +534,25 @@ \section{M.U.F. für univariate, explizite indirekte Größe, Abhängigkeit von
 $s_y$ eine \textsl{kombinierte Standardabweichung}.
 
 Für den allgemeinen Fall mit einer Linearsierung durch die Taylorreihenentwicklung
-Gl.~(\ref{univarTaylorLin}) stellen die partiellen Ableitungen, also der Gradient, an
+Gl.~(\ref{univarTaylorLin}) stellen die partiellen Ableitungen an
 der Stelle der Schätzer der direkten Größen die Sensitivitäten
-$c_i = \left. \frac{\partial f}{\partial X_i} \right|_{\bar{\mathbf{x}}}$ dar. Sie drücken aus,
-wie stark sich die indirekte Größe $Y$ gemäß der Steigung (Gradienten) des Kurvenverlaufs des Modells
+$c_i = \left. \frac{\partial f}{\partial X_i} \right|_{\bar{\mathbf{x}}}$ dar. Der
+Vektor der partiellen Ableitungen heißt \textsl{Gradient}. Der Gradient ist also
+der Steigungsvektor.
+Der Gradient drückt aus, wie stark sich die indirekte Größe $Y$ gemäß der Steigung
+des Kurvenverlaufs des Modells
 ändert, wenn es kleine Änderungen der direkten Größen gibt. Mit anderen Worten besagt dies, wie
 empfindlich die indirekte Größe auf Änderungen der direkten Größen reagiert, d.h.\ wie sensistiv
 das Modell an der Position $\bar{\mathbf{x}}$ ist.
 
-Gegeben sei ein univariates, expliziten Modell $Y = f(\mathrm{X})$, das linearisierbar ist also
+Gegeben sei ein univariates, expliziten Modell $Y = f(\mathrm{X})$, das linearisierbar ist, also
 in Taylorreihe entwickelbar bis zum linearen Term mit dem Erwartungswertevektor
 $\bar{\mathbf{x}}$ als Entwicklungspunkt
 \begin{equation}
 Y = f(\mathbf{X}) \approx \left. f(\mathbf{X}) \right|_{\bar{\mathbf{x}}} +
 \sum_{i=1}^N \left.
 \frac{\partial f}{\partial X_i} \right|_{\bar{\mathbf{x}}} \Delta X_i
-\quad \text{und} \quad \mathrm{X} = \bar{\mathbf{x}} + \Delta \mathrm{X}
+\quad \text{und} \quad \mathrm{X} = \bar{\mathbf{x}} + \Delta \mathrm{X} .
 \label{linearisiertesModellY}
 \end{equation}
 Die direkten Messgrößen $X_i$ sind Zufallsgrößen.
@@ -697,7 +705,9 @@ \section{Überdeckungsintervall für indirekte Messgrößen}
 
 Am Ende von Kapitel~\ref{konzepteStatistik} haben wir das Überdeckungsintervall eingeführt
 und nach Einführung der Quantile der t-Verteilung in Kapitel~\ref{wahrscheinlichHyp} genauer
-behandelt, als \textsl{Credible intervall} und als \textsl{Vertrauensintervall}.
+behandelt, als \textsl{Vertrauensintervall}, sowie im Zusammenhang der bayesischen Statistik
+gewonnen aus der inversen kumulierten Posteriorverteilung als \textsl{Credible intervall}.
+
 Die Intervallgrenzen des Vertrauensintervalls haben wir
 auch als Produkt aus einem Quantil und einer Standardabweichung repräsentiert, im Fall, dass
 eine Normalverteilung zugrunde gelegt wird in der Form
@@ -787,7 +797,7 @@ \section{Überdeckungsintervall für indirekte Messgrößen}
 für $\nu_\mathrm{eff}$ von Satterthwaite aus dem Jahr 1941 \cite{Sat41} zurückgegriffen.
 
 Satterthwaite betrachtet die Varianz $\operatorname{Var}(s_i^2)$
-der Varianz $s_i^2$. Die $s_i^2$ sind unabhängige
+der Varianz $s_i^2$. Die Varianzen $s_i^2$ sind unabhängige
 Zufallsgrößen, also als Größen zu betrachten, die unkorreliert sind, so dass
 \begin{equation}
 \operatorname{Var}(s_y^2) \; = \;  \operatorname{Var}\left( c_1^2 s_1^2 \right)

vorlesung/07_vorlesung/07_Numerik_fuer_MU.tex

@@ -31,7 +31,7 @@ \section{Numerische Integrationsverfahren}
 Das erste Stückchen hat die halbe Breite und die Fläche
 $$
 \underbrace{\frac{\Delta Y}{2} \, p(y_1)}_{\mathrm{Rechteck}}
- \; + \; 
+ \; + \;
 \underbrace{\frac{\Delta Y}{4} \, (p(y_1 + \frac{\Delta Y}{2}) - p(y_1))}_{\mathrm{Dreieck}}
 \; = \;
 \frac{\Delta Y}{4} \, (p(y_1 + \frac{\Delta Y}{2}) + p(y_1))
@@ -55,7 +55,7 @@ \section{Numerische Integrationsverfahren}
 Eine Möglichkeit ist, sich iterativ zu einer sinnvollen Anzahl von Intervallen
 vorzuarbeiten, indem die Intervallbreite $\Delta Y$ mit jedem Iterationsschritt halbiert wird.
 Dabei arbeitet man sich solange vor bis sich die approximierte Fläche
-durch weiteres Halbieren der Intervallbreiten nicht mehr 
+durch weiteres Halbieren der Intervallbreiten nicht mehr
 signifikant ändert. Diese Methode wird \textsl{Romberg}-Verfahren genannt.
 Werner Romberg war ein in Berlin geborener Mathematiker, der in Heidelberg und München
 studierte und promovierte. Kurz nach dem Rigorosum im Jahr 1933 musste er als Kritiker
@@ -89,10 +89,10 @@ \section{Numerische Integrationsverfahren}
 
 Dabei werden die Flächenstücke durch Halbierung der Intervallbreite gleichförmig schmaler gemacht.
 Die einzelnen Abweichungen zu jedem der Intervalle können für unterschiedlich stark gekrümmte
-Segmente der unterschiedlichen Stückchen verschieden groß sein, so dass es für manche
-Anwendungen Sinn machen kann dadurch Rechenzeit zu sparen, dass nur ausgewählte Bereiche
+Segmente der unterschiedlichen Stückchen verschieden groß sein, so dass für manche
+Anwendungen dadurch Rechenzeit gesparen werden, dass nur ausgewählte Bereiche
 verfeinert werden. Hier ist mehr Aufwand bei der Implementierung der Verästelung des Baumes,
-der für unterschiedliche Integrationsbereiche unterschiedliche Iterationstiefen verwaltet,
+der für unterschiedlichen Integrationsbereiche unterschiedliche Iterationstiefen verwaltet,
 erforderlich. Wir nennen die Grenzen der Flächenstückchen, die bei Romberg gleichförmig die Positionen
 $$
 Y_i \, = \, y_1 \, + \, (i-1) \Delta Y
@@ -129,17 +129,17 @@ \section{Numerische Integrationsverfahren}
 integrieren zu wollen, welche dadurch gekennzeichnet sind, dass ihre Funktionswerte
 positiv sind und dass sie aus einem
 oder vielleicht auch ganz wenig mehr als einem breiteren \textsl{Peak} (Glocke) bestehen.
-Diese Glocke muss dabei nicht unbedingt so schön symmetrisch sein wie bei der 
+Diese Glocke muss dabei nicht unbedingt so schön symmetrisch sein wie bei der
 Normalverteilung oder bei der Student-t-Verteilung, sondern kann eine gewisse Schiefe haben
 wie beispielsweise bei der $\chi^2$-Verteilung für wenige Freiheitsgrade.
 Wenn wir Abb.~\ref{Trapez} genauer anschauen, sehen wir, dass die Sekanten im Zentrum
-des \textsl{Peak}, der Glocke, stärker von der Kurve der Glocke abweichen als in den
+des \textsl{Peaks}, der Glocke, stärker von der Kurve der Glocke abweichen als in den
 \textsl{Tails}. Die Sample-Stützstellen wollen wir also im Bereich des Glockenmaximums, bzw.\
 in den Bereichen der Glockenmaxima, enger legen als in den \textsl{Tails}. Dies ist äquivalent
 zu dem, die Dichte der Stützstellen gemäß der Verteilung $p$ selbst zu samplen.
 Mit anderen Worten, es wird eine nach $p$ verteilte Stichprobe der Größen $X_i$
 entnommen. Die Verteilung $p$ wird verwendet, um gleichverteilte Pseudozufallszahlen auf nach $p$
-verteilte Zahlen abzubilden. 
+verteilte Zahlen abzubilden.
 Dieser Ansatz liegt den sogenannten \textsl{Importance Sampling}-Algorithmen zugrunde.
 
 Wenn eine Verteilung $p$ stark fluktuiert, also innerhalb eines
@@ -170,7 +170,7 @@ \section{Zufallszahlen und Wahrscheinlichkeitsverteilungen}
 Die Abfolge der Transformationen, die eine aktuelle Position eines Gegenstands oder den
 aktuellen Zustand eines Prozesses in die nachfolgende Position bzw.\ den nachfolgenden
 Zustand überführt, und daraus die danach nachfolgende Position (den daraus folgenden Zustand)
-und so weiter, heißt \textsl{Markow-Kette}. Kennzeichen einer Markow-Kette ist, dass die 
+und so weiter, heißt \textsl{Markow-Kette}. Kennzeichen einer Markow-Kette ist, dass die
 Positions\-änder\-ung des Moleküls nur von der aktuellen Position,
 nicht aber von den Positionen davor, abhängt. Allgemein lassen sich viele statistische Prozesse,
 nicht nur Pfade von Fluidpartikeln oder Abfolgen der Werte von Zufallssampeln, mit Hilfe von
@@ -217,7 +217,7 @@ \section{Zufallszahlen und Wahrscheinlichkeitsverteilungen}
 liefert exponentiell verteilte Zufallszahlen, \texttt{randg} Zufallszahlen, die nach
 der Gammafunktion verteilt sind und \texttt{randp} poissonverteilte Zufallszahlen. In Python sind
 diese in der zu \texttt{numpy} gehörenden Biblothek \texttt{random} zu finden. Mit
-\texttt{randn} werden standardnormalverteilte Zufallszahlen erzeugt: 
+\texttt{randn} werden standardnormalverteilte Zufallszahlen erzeugt:
 %\lstset{language=Python}
 \begin{lstlisting}[style=Python]
 import numpy as np
@@ -254,7 +254,7 @@ \section{Monte-Carlo-Verfahren gemäß GUM-supplement~1 JCGM 101}
 In Kapitel~\ref{montecarloMU} werden wir das Monte-Carlo-Verfahren gemäß GUM-supplement~1 JCGM 101
 erläutern, bei dem wie oben bereits erwähnt,
 gemäß den jeweiligen Ver\-teil\-ungen der unterschiedlichen direkten Messgrößen
-eine große Stichprobe (ein großes \textsl{Sample}) 
+eine große Stichprobe (ein großes \textsl{Sample})
 $\mathbf{x}_1 = (x_{1,1},\dots,x_{N,1})^\mathsf{T}$, $\dots$, $\mathbf{x}_J = (x_{1,J},\dots,x_{N,J})^\mathsf{T}$
 für die direkten Größen $\mathbf{X}$ per Zufallszahlengenerator erzeugt
 wird. Diese wird in das Modell $f$ gesteckt,
@@ -281,7 +281,7 @@ \section{Monte-Carlo-Verfahren gemäß GUM-supplement~1 JCGM 101}
 p(Y, X_\mathrm{K}, X_\mathrm{M} | (X_{\mathrm{M},1}, \dots, X_{\mathrm{M},J}), K_0, s_\mathrm{K}) \propto \\
 \delta\left(Y \; - \; X_\mathrm{K} \, X_\mathrm{M}\right)
 \;  e^{-\frac{1}{2} \left(\frac{X_\mathrm{K} - K_0}{s_\mathrm{K}} \right)^2} \; \prod\limits_{j=1}^J  \,
-e^{-\frac{1}{2} \left(\frac{ X_\mathrm{M} - X_{\mathrm{M},j} }{s_\mathrm{M}} \right)^2} 
+e^{-\frac{1}{2} \left(\frac{ X_\mathrm{M} - X_{\mathrm{M},j} }{s_\mathrm{M}} \right)^2}
 \end{array}
 \label{PosteriorFall4}
 \end{equation}
@@ -303,7 +303,7 @@ \section{Monte-Carlo-Verfahren gemäß GUM-supplement~1 JCGM 101}
 p(Y, X_\mathrm{1}, \dots, X_\mathrm{N} | (X_{1,1}, \dots, X_{1,J_1}), ..., (X_{K,1}, \dots, X_{K,J_1}),
  \bar x_{K+1}, s_\mathrm{K+1}, \dots, \bar x_{N}, s_\mathrm{N}) \propto \\
 \delta\left(Y \; - \; f(X_1, \dots \, X_N)\right)
-\; \left( \prod\limits_{i=1}^K \, \prod\limits_{j=1}^{J_i}  \, 
+\; \left( \prod\limits_{i=1}^K \, \prod\limits_{j=1}^{J_i}  \,
 e^{-\frac{1}{2} \left(\frac{ X_i - X_{i,j} }{s_i} \right)^2} \right)
 \;  \left( \prod\limits_{i=K+1}^N \,  e^{-\frac{1}{2} \left(\frac{X_i - \bar x_i}{s_i} \right)^2} \right) .
 \end{array}
@@ -366,11 +366,10 @@ \section{Monte-Carlo-Verfahren gemäß GUM-supplement~1 JCGM 101}
 Dieses Verfahren wird angewendet, wenn sich keine Sensitivitätskoeffizienten zu $f$
 berechnen lassen oder wenn die Sensitivitätskoeffizienten in der Nähe von Null liegen, weil
 $f$ in der Umgebung der Schätzwerte ganz flach ist, also ein Extremum oder Sattelpunkt hat.
-Das bedeutet, das $f$ nicht linearisierbar ist.
+Das bedeutet, dass $f$ nicht linearisierbar ist.
 
 Insbesondere wird das Verfahren mit den großen Zufallszahlensamples dann angewendet, wenn es
-keine analystisch geschlossene Darstellung zu dem Modell $f$ gibt.
+keine analytisch geschlossene Darstellung zu dem Modell $f$ gibt.
 Numerische Verfahren unter Anwendung von Zufallszahlen werden häufig in Anlehnung an den Zufall
 des Würfel- oder Roulettespiels Monte-Carlo-Verfahren genannt, so auch hier bei der Ermittlung
 von Messunsicherheiten.
-