Algorithmen (Lineare Anpassung mit X-Fehler)

Inhalt

1 Das Anpassungsmodell
2 Fit-Steuerung
- 2.1 Berechnungsmethode
3 Eigenschaften (York-Methode)
- 3.1 Fit-Parameter
- 3.2 Fit-Statistik
4 Eigenschaften (FV-Methode)
5 Eigenschaften (Deming-Methode)
- 5.1 Fit-Parameter
- 5.2 Fit-Statistik
6 X/Y suchen
7 Residuendiagramme
8 Referenz

Das Anpassungsmodell

Für einen gegebenen Datensatz $(X_i,Y_i), (\sigma_{x_i},\sigma_{y_i}), i=1,2,\ldots n$ , wobei X die unabhängige Variable und Y die abhängige Variable ist, und $(\sigma_{x_i},\sigma_{y_i})$ Fehler für X bzw. Y sind. -- Lineare Anpassung X-Fehler passt die Daten an ein Modell mit der folgenden Form an:

$y=\beta _0+\beta _1x+\varepsilon$	(1)
$\left\{\begin{matrix} x_i=X_i+\sigma_{x_i}\\ y_i=Y_i+\sigma_{y_i} \end{matrix}\right.$	(2)

Fit-Steuerung

Berechnungsmethode

York-Methode

Die York-Methode Verwendet die Berechnungsmethode von D. York, beschrieben in Vereinte Gleichungen für Steigung, Schnittpunkt mit der Y-Achse und Standardfehler der besten geraden Linie
FV-Methode

Die FV-Methode ist die Berechnungsmethode von Giovanni Fasano & Roberto Vio, beschrieben in Eine gerade Linie mit Fehler an beiden Koordinaten anpassen.
Deming-Methode

Die Deming-Regression ist die Maximum-Likelihood-Schätzung eines Fehler-in-Variablen-Modell. Von den X/Y-Fehlern wird angenommen, dass sie unabhängig identisch verteilt sind.
Korrelation zwischen X- und Y-Fehlern

Korrelation zwischen X- und Y-Fehlern $r_i$ (nur für York-Methode)
Standardabweichung von X/Y

Standardabweichung von X/Y (nur für Deming-Methode)

Eigenschaften (York-Methode)

Wenn Sie eine lineare Anpassung durchführen, erstellen Sie ein Analyseberichtsblatt, dass die berechneten Eigenschaften enthält. Die Tabellenberichte Parameter modellieren Steigung und Schnittpunkt mit der Y-Achse (Zahlen in Klammern zeigen, wie die Eigenschaften abgeleitet werden):

Fit-Parameter

Angepasster Wert und Standardfehler

Definieren Sie $W_i$ , das die Gewichtung (Fehler) für X und Y beinhaltet;

$W_i = \frac{\omega_{x_i}\omega_{y_i}}{\omega_{x_i}+\beta_1^2\omega_{y_i}-2\beta_1 r_ia_i} =\frac{1}{\sigma_{y_i}^2+\beta_1^2\sigma_{x_i}^2 - 2\beta_1 r_i \sigma_{x_i} \sigma_{y_i}}$	(3)

Darin sind $\omega_{x_i}=\frac{1}{\sigma_{x_i}^2}, \ \omega_{y_i}=\frac{1}{\sigma_{y_i}^2}$ Gewichtungen von $(X_i, Y_i)$ , $r_i$ ist die Korrelation zwischen X- und Y-Fehler (d. h. $\sigma_{x_i}$ und $\sigma_{y_i}$ ), und $\alpha_i=\sqrt{\omega_{x_i} \omega_{y_i}}$ .

Die Steigung der angepassten Linie für $(X_i, Y_i)$ ohne Gewichtung (Fehler) ist der Initialisierungswert für $\beta_1$ . Sie sollten iterativ gelöst werden, bis sukzessive Schätzungen von $\beta_1$ innerhalb der gewünschten Toleranz übereinstimmen.

Die präzisen Gleichungen, die die Parameter $\hat{\beta_0}$ und $\hat{\beta_1}$ für die am besten angepasste Linie mit X-Y-Fehlern schätzen, sind:

$\hat{\beta_0}=\bar{Y}-\hat{\beta_1}\bar{X}$	(4)

$\hat{\beta_1}=\frac{\sum{W_i b_i V_i}}{\sum{W_i b_i U_i}}$	(5)

wobei $\bar{X} = \frac{ \sum{W_i X_i} }{ \sum{W_i} }, \ \bar{Y} = \frac{ \sum{W_i Y_i} }{ \sum{Y_i} }$ .

U und V sind die Abweichung für X und Y:

$\left\{\begin{matrix} U=X-\bar{X}\\ V=Y-\bar{Y} \end{matrix}\right.$

und

$b_i=W_i \left[\frac{U_i}{\omega_{y_i}}+\frac{\hat{\beta_1}}{\omega_{x_i}}{V_i}-(\beta U_i+V_i)\frac{r_i}{\alpha_i} \right]$	(6)

Die entsprechende Variation $\sigma^2$ und der Standardfehler $s$ für Parameter sind:

$\sigma_{\hat{\beta_0}}^2=\frac{1}{\sum{W_i}}+\bar{x}^2\sigma_{\hat{\beta_1}}^2$	(7)
$\sigma_{\hat{\beta_1}}^2=\frac{1}{\sum{W_i u_i^2}}$	(8)

wobei $\bar{x} = \frac{ \sum{W_i x_i} }{ \sum{W_i} }$ , $x_i$ ist der erwartete Wert von $X_i$ , und $u_i=x_i - \bar{x}$ .

Der Standardfehler für Parameter ist am Ende gegeben mit:

$\varepsilon_{\hat{\beta_0}}=\sqrt{\sigma _{\hat{\beta_0}}^2}\sqrt{\frac{S}{n-2}}$	(9)

$\varepsilon_{\hat{\beta_1}}=\sqrt{\sigma _{\hat{\beta_1}}^2}\sqrt{\frac{S}{n-2}}$	(10)

wobei $S$ :

$S=\sum W_i(Y_i - \beta_1 X_i- \beta_0)^2$	(11)

t-Wert und Konfidenzniveau

Gelten die Regressionsannahmen, haben wir:

$\frac{{\hat \beta _0}-\beta _0}{\varepsilon _{\hat \beta _0}}\sim t_{n^{}-1}$ und $\frac{{\hat \beta _1}-\beta _1}{\varepsilon _{\hat \beta _1}}\sim t_{n^{}-1}$	(12)

Die t-Tests können verwendet werden, um zu untersuchen, ob die Fit-Parameter signifikant von Null abweichen. Das bedeutet, wir können testen, ob $\beta _0= 0\,\!$ (falls wahr, bedeutet dies, dass die angepasste Linie durch den Ursprung verläuft) oder $\beta _1= 0\,\!$ . Die Hypothesen der t-Tests sind:

$H_0: \beta _0= 0\,\!$ $H_0: \beta _1= 0\,\!$

$H_\alpha: \beta _0 \neq 0\,\!$ $H_\alpha: \beta _1 \neq 0\,\!$

Die t-Werte können wie folgt berechnet werden:

$t_{\hat \beta _0}=\frac{{\hat \beta _0}-0}{\varepsilon _{\hat \beta _0}}$ und $t_{\hat \beta _1}=\frac{{\hat \beta _1}-0}{\varepsilon _{\hat \beta _1}}$	(13)

Mit dem berechneten t-Wert können wir entscheiden, ob die entsprechende Nullhypothese verworfen werden soll oder nicht. Gewöhnlich können wir für ein gegebenes Konfidenzintervall $\alpha\,\!$ die Hypothese $H_0\,\!$ verwerfen, wenn $|t|>t_{\frac \alpha 2}$ . Außerdem wird der p-Wert oder die Signifikanzebene mit einem t-Test angezeigt. Wir weisen auch die Nullhypothese $H_0\,\!$ zurück, wenn der p-Wert kleiner ist als $\alpha\,\!$ .

Wahrsch.>|t|

Die Wahrscheinlichkeit, dass $H_0\,\!$ in dem t-Test oben wahr ist.

$prob=2(1-tcdf(\|t\|,df_{Error}))\,\!$	(14)

wobei tcdf(t, df) die untere Wahrscheinlichkeit für die studentisierte t-Verteilung mit dem df-Freiheitsgrad berechnet.

UEG und OEG

Mit dem t-Wert können wir das $(1-\alpha )\times 100\%$ -Konfidenzintervall für jeden Parameter berechnen:

$\hat \beta _j-t_{(\frac \alpha 2,n^{}-k)}\varepsilon _{\hat \beta _j}\leq \hat \beta _j\leq \hat \beta _j+t_{(\frac \alpha 2,n^{}-k)}\varepsilon _{\hat \beta _j}$	(15)

wobei $OEG$ und $LCL$ für Oberes Konfidenzintervall bzw. Unteres Konfidenzintervall steht.

KI halbe Breite

Das Konfidenzintervall halbe Breite ist:

$CI=\frac{UCL-LCL}2$	(16)

wobei OEG und UEG das obere Konfidenzintervall bzw. untere Konfidenzintervall ist.

Weitere Informationen finden Sie in der Referenz 1 (unten).

Statistik zum Fit

Freiheitsgrade

$df=n-2$	(17)

n ist die Gesamtanzahl der Punkte.

Summe der Fehlerquadrate

$RSS=\sum^n_{i=1} \frac{(\beta_0+\beta_1 x_i - y_i)^2}{\sigma^2_{y_i}+\beta_1^2\sigma^2_{x_i}}$	(18)

Reduziertes Chi-Quadrat

$\sigma^2=\frac{RSS}{n-2}$	(19)

Pearson r

Bei der einfachen linearen Regression ist der Korrelationskoeffizient zwischen x und y, der als r bezeichnet wird, gleich:

$r=-R\,\!$ falls $\beta _1\,\!$ negativ ist
$r=R\,\!$ falls $\beta _1\,\!$ positiv ist	(20)

$R^2$ kann berechnet werden mit:

$TSS=\sum_{i=1}^n(y_i-\bar{y})^2$
$R^2=\frac{SXY}{SXX*TSS}=1-\frac{RSS}{TSS}$	(21)

Wurzel-MSE (StAbw)

Quadratwurzel des Mittelwerts des Fehlers oder die residuale Standardabweichung ist gleich:

$df_{Error}=n-2$
$RootMSE=\sqrt{\frac{RSS}{df_{Error}}}$	(22)

Kovarianz- und Korrelationsmatrix

Die Kovarianzmatrix der linearen Regression wird berechnet durch:

$\begin{pmatrix} Cov(\beta _0,\beta _0) & Cov(\beta _0,\beta _1)\\ Cov(\beta _1,\beta _0) & Cov(\beta _1,\beta _1) \end{pmatrix}=\sigma ^2\frac 1{SXX}\begin{pmatrix} \sum \frac{x_i^2}n & -\bar x \\-\bar x & 1 \end{pmatrix}$	(23)

Die Korrelation zwischen zwei beliebigen Parametern ist:

$\rho (\beta _i,\beta _j)=\frac{Cov(\beta _i,\beta _j)}{\sqrt{Cov(\beta _i,\beta _i)}\sqrt{Cov(\beta _j,\beta _j)}}$	(24)

Eigenschaften (FV-Methode)

Die FV-Methode ist die Berechnungsmethode von Giovanni Fasano & Roberto Vio, beschrieben in Eine gerade Linie mit Fehler an beiden Koordinaten anpassen.

Die Gewichtung wird definiert als:

$W_i=\frac{1}{\beta_1^2\sigma_{x_{i}}^2+\sigma_{y_{i}}^2}$	(25)

Die Steigung der angepassten Linie für $(X_i, Y_i)$ ohne Gewichtung (Fehler) ist $\beta_1$ .

Es wird angenommen, dass

$\bar{x}=\frac{\sum{W_i x_i}}{\sum W_i}$	(26)
$\bar{y}=\frac{\sum{W_i y_i}}{\sum W_i}$	(27)

indem die Summe $K^2=\sum{W_i (y_i-\beta_0-\beta_1 x_i)^2}$ minimiert wird, erhalten wir den Schätzwert $\beta_0$ und $\beta_1$ , indem die teilweisen Ableitungen auf 0 gesetzt werden.

$\hat{\beta_0}=\bar{y}-\hat{\beta_1}\bar{x}$	(28)
$a\hat{\beta_1}^2+b\hat{\beta_1}-c=0$	(29)

wobei

$a=\sum{W_i^2\sigma_{x_i}^2(y_i-\bar{y_i})(x_i-\bar{x_i})}$	(30)
$b=\sum{W_i^2[\sigma_{y_i}^2(x_i-\bar{x_i})^2-\sigma_{x_i}^2(y_i-\bar{y_i})^2]}$	(31)
$c=\sum{W_i^2\sigma_{y_i}^2(y_i-\bar{y_i})(x_i-\bar{x_i})}$	(32)

$\hat{\beta_1}$ sollte iterativ gelöst werden, bis sukzessive Schätzungen von $\hat{\beta_1}$ innerhalb der gewünschten Toleranz übereinstimmen.

Greifen Sie für jeden Parameterstandardfehler auf das lineare Regressionsmodell zurück.

Weitere Informationen finden Sie in der Referenz 2 (unten).

Eigenschaften (Deming-Methode)

Fit-Parameter

Die Deming-Regression wird für Situationen verwendet, in denen sowohl X als auch Y einem Messungsfehler unterliegen.

$y=\beta _0+\beta _1x+\varepsilon$
$\left\{\begin{matrix} x_i=X_i+\sigma_{x_i}\\ y_i=Y_i+\sigma_{y_i} \end{matrix}\right.$

Angenommen, $\sigma_{x_i}$ sind unabhängig identisch verteilt mit $\sigma_{x_i} \sim \mathcal{N}(0,\sigma^2)$ und $\sigma_{y_i}$ sind unabhängig verteilt mit $\sigma_{y_i} \sim \mathcal{N}(0,\lambda \sigma^2)$ , wobei $\mathcal{N}(0,\sigma^2)$ die Normalverteilung mit dem Mittelwert 0 und der Standardabweichung $\sigma$ bezeichnet. Wenn $\lambda=1$ , dann ist es eine orthogonale Regression. Der gewichtete Fehler der Quadratsumme des Modells wird minimiert:

$RSS=\sum^n_{i=1}\left ((x_i-X_i)^2+\frac{(y_i-\beta_0-\beta_1X_i)^2}{\lambda}\right)$	(33)

Angepasster Wert und Standardfehler

Wir können Parameter lösen:

$\hat{\beta_1}=\frac{SYY-\lambda SXX+\sqrt{(SYY-\lambda SXX)^2+4\lambda SXY^2}}{2SXY}$	(34)

$\hat{\beta_0}=\bar{y}-\hat{\beta_1}\bar{x}$	(35)

wobei:

$\bar{x}=\frac{1}{n}\sum_{i=1}^2{x_i}, \bar{y}=\frac{1}{n}\sum_{i=1}^n{y_i}$

$u_i=x_i-\bar{x}$
$v_i=y_i-\bar{y}$

und:

$SXX=\sum_{i=1}^n u_i^2$
$SYY=\sum_{i=1}^n v_i^2$
$SXY=\sum_{i=1}^n u_iv_i$

Die entsprechende Variation für Parameter ist:

$\sigma^2_{\hat \beta _0}=\frac{1}{nw}+2(\bar{x}+2\bar{z})\bar{z}Q+(\bar{x}+2\bar{z})^2 \sigma_{\bar{\beta_1}}^2$
$\sigma^2_{\hat \beta _1}=Q^2w^2\sigma^2\sum^n_{i=1}(\lambda u_i^2+v_i^2)$

Der Standardfehler für Parameter kann geschätzt werden mit:

$\varepsilon _{\hat \beta _0}=\sqrt{\sigma^2_{\hat \beta _0}}$	(37)
$\varepsilon _{\hat \beta _1}=\sqrt{\sigma^2_{\hat \beta _1}}$	(38)

und

$w=\frac{1}{\sigma^2(\lambda+\hat{\beta_1}^2)}$

$z_i=w\sigma^2(\lambda u_i+\hat{\beta_1} v_i)$

$\bar{z}=\frac{1}{n}\sum_{i=1}^n z_i$

$Q=\frac{1}{w \sum_{i=1}^n \left(\frac{u_iv_i}{\hat{\beta_1}}+4(z_i-\bar{z})(z_i-u_i)\right)}$

$\sigma=\sqrt{\frac{\sum^n_{i=1}(x_i-X_i)^2+\frac{\sum^n_{i=1}(y_i-\hat{\beta_0}-\hat{\beta_1}x_i)^2}{\lambda}}{n-2}}$

t-Wert und Konfidenzniveau

Gelten die Regressionsannahmen, haben wir:

$\frac{{\hat \beta _0}-\beta _0}{\varepsilon _{\hat \beta _0}}\sim t_{n^{*}-1}$ und $\frac{{\hat \beta _1}-\beta _1}{\varepsilon _{\hat \beta _1}}\sim t_{n^{*}-1}$

$H_0: \beta _0= 0\,\!$ $H_0: \beta _1= 0\,\!$

$H_\alpha: \beta _0 \neq 0\,\!$ $H_\alpha: \beta _1 \neq 0\,\!$

Die t-Werte können wie folgt berechnet werden:

$t_{\hat \beta _0}=\frac{{\hat \beta _0}-0}{\varepsilon _{\hat \beta _0}}$ und $t_{\hat \beta _1}=\frac{{\hat \beta _1}-0}{\varepsilon _{\hat \beta _1}}$	(38)

Wahrsch.>|t|

Die Wahrscheinlichkeit, dass $H_0\,\!$ in dem t-Test oben wahr ist.

$prob=2(1-tcdf(\|t\|,df_{Error}))\,\!$	(39)

wobei tcdf(t, df) die untere Wahrscheinlichkeit für die studentisierte t-Verteilung mit dem df-Freiheitsgrad berechnet.

UEG und OEG

Mit dem t-Wert können wir das $(1-\alpha )\times 100\%$ -Konfidenzintervall für jeden Parameter berechnen:

$\hat \beta _j-t_{(\frac \alpha 2,n^{}-k)}\varepsilon _{\hat \beta _j}\leq \hat \beta _j\leq \hat \beta _j+t_{(\frac \alpha 2,n^{}-k)}\varepsilon _{\hat \beta _j}$	(40)

wobei $OEG$ und $LCL$ für Oberes Konfidenzintervall bzw. Unteres Konfidenzintervall steht.

KI halbe Breite

Das Konfidenzintervall halbe Breite ist:

$CI=\frac{UCL-LCL}2$	(41)

wobei OEG und UEG das obere Konfidenzintervall bzw. untere Konfidenzintervall ist.

Weitere Informationen finden Sie in der Referenz 1 (unten).

Statistik zum Fit

Freiheitsgrade

$df=n-2$	(42)

n ist die Gesamtanzahl der Punkte.

Summe der Fehlerquadrate

Siehe Formel (33).

Reduziertes Chi-Quadrat

$\sigma^2=\frac{RSS}{n-2}$	(43)

Pearson r

Bei der einfachen linearen Regression ist der Korrelationskoeffizient zwischen x und y, der als r bezeichnet wird, gleich:

$r=-R\,\!$ falls $\beta _1\,\!$ negativ ist
$r=R\,\!$ falls $\beta _1\,\!$ positiv ist	(44)

$R^2$ kann berechnet werden mit:

$TSS=\sum_{i=1}^n(y_i-\bar{y})^2$
$R^2=\frac{SXY}{SXX*TSS}=1-\frac{RSS}{TSS}$	(45)

Wurzel-MSE (StAbw)

Quadratwurzel des Mittelwerts des Fehlers ist gleich:

$df_{Error}=n-2$
$RootMSE=\sqrt{\frac{RSS}{df_{Error}}}$	(46)

Kovarianz- und Korrelationsmatrix

Die Kovarianzmatrix der linearen Regression wird berechnet durch:

$\begin{pmatrix} Cov(\beta _0,\beta _0) & Cov(\beta _0,\beta _1)\\ Cov(\beta _1,\beta _0) & Cov(\beta _1,\beta _1) \end{pmatrix}=\begin{pmatrix} \ \sigma^2_{\hat{\beta_0}} & -\bar{x}\sigma^2_{\hat \beta _1} \\-\bar{x}\sigma^2_{\hat \beta _1} &\sigma^2_{\hat{\beta_1}} \end{pmatrix}$	(47)

Die Korrelation zwischen zwei beliebigen Parametern ist:

$\rho (\beta _i,\beta _j)=\frac{Cov(\beta _i,\beta _j)}{\sqrt{Cov(\beta _i,\beta _i)}\sqrt{Cov(\beta _j,\beta _j)}}$	(48)

X/Y suchen

Residuendiagramme

Residuen vs. Independent

Punktdiagramm der Residuen $res$ vs. unabhängige Variable $x_1,x_2,\dots,x_k$ ; jede Zeichnung befindet sich in einem separaten Diagramm.

Residuen vs. prognostizierte Werte

Punktdiagramm der Residuen $res$ vs. Anpassungsergebnisse $\hat{y_i}$

Residuen vs. die Ordnung der Datendiagramme

$res_i$ vs. Abfolgenummer $i$

Histogramm des Residuums

Histogramm des Residuums $res_i$

Verzögertes Residuendiagramm

Residuen $res_i$ vs. verzögertes Residuum $res_{(i–1)}$

Wahrscheinlichkeitsnetz (Normal) für Residuen

Das Wahrscheinlichkeitsnetz der Residuen (Normal) kann verwendet werden, um zu prüfen, ob die Varianz ebenfalls normalverteilt ist. Wenn das sich ergebende Diagramm ungefähr linear ist, nehmen wir weiterhin an, dass die Fehlerterme normal verteilt sind. Das Diagramm basiert auf Perzentilen versus geordnete Residuen. Die Perzentile werden geschätzt mit

$\frac{(i-\frac{3}{8})}{(n+\frac{1}{4})}$

wobei n die Gesamtanzahl der Datensätze und i die i-ten Daten sind. Bitte lesen Sie auch Wahrscheinlichkeitsdiagramm und Q-Q-Diagramm.

Referenz

York D, "Unified equations for the slope, intercept, and standard error of the best straight line", American Journal of Physics, Volume 72, Nr. 3, S. 367-375 (2004).
G. Fasano und R. Vio, "Fitting straight lines with errors on both coordinates", Newsletter of Working Group for Modern Astronomical Methodology, Nr. 7, 2-7, Sept. 1988.