Die Methode der Total Least Squares (TLS) produziert einen korrekten Fit der Daten wenn sowohl der Beobachtungsvector b (m×1) wie auch die Design Matrix A (m×n) Fehler enthalten. Dieser Artikel geht auf die Methode der TLS ein und vergleicht sie mit der Methode der Ordinary Least Squares (OLS). Weiters wird mit Hilfe der Singuar Value Decomposition (SVD) eine genaue Analyse der TLS präsentiert.
Einleitung:
Das Konzept der Total Least Squares (TLS) ist eine Datenschätztechnik, die statistische und numerische Methoden zusammenführt um Probleme zu lösen, die in einer grossen Anzahl von Anwendungen auftauchen. Im Grunde handelt es sich um eine Schätzmethode für lineare Parameter, wie sie in zahlreichen Gebieten der Wissenschaft und Technik auftreten. Dazu zählen unter anderem die Signalverarbeitung, die Systemtheorie, das allgemeine Ingenieurwesen, die Statistik, die Physik wie auch die Ökonomie, die Biologie etc. Die Methode der TLS trägt mehrere Namen und ist je nach Fachbereich auch als Orthogonalregression oder als das „errors-in-variables" Modell bekannt.
Dieser Artikel stellt die Methode der TLS dem bereits bekannten Ansatz zur Schätzung linearer Parameter mittels Regressionsanalyse bzw. Ordinary Least Squares (OLS) gegenüber. Weiters werden mehrere Aspekte des TLS Problems diskutiert und mittels der Singular Value Decomposition (SVD) die Analyse des Problems durchgeführt.
Der Rest dieses Artikels ist wie folgt gegliedert: Abschnitt 2 führt mittels eines Beispiels zu OLS und TLS in die Methoden ein und gibt eine allgemeine Einführung in die lineare Parameterschätzung. In Abschnitt 3 werden die OLS der TLS Methode gegenübergestellt sowie die Prinzipien der TLS besprochen. Mittels der SVD wird eine Lösung der TLS angegeben. Der Autor stützt sich dabei vor allem auf die Beiträge von Golub und Van Loan (1980), Van Huffel und Vandewalle (1991) wie auch Nievergelt (1994). Abschnitt 4 nennt eine Reihe von Anwendungen der TLS, während die Hauptergebnisse dieses Artikels und der durchgeführten Analyse in Abschnitt 5 zusammengefasst werden.
Inhaltsverzeichnis
1 Einleitung
2 Einführung in die lineare Parametersch‰tzung
2.1 Ein einfaches Beispiel
2.1.1 Die Lˆsung des Beispiels mittels OLS
2.1.2 Die Lˆsung des Beispiels mittels TLS
3 Die Prinzipien des TLS Problems
3.1 Das OLS Problem
3.2 Das TLS Problem und die SVD
3.2.1 Die Singular Value Decomposition
3.2.2 Anwendung der SVD auf das Problem der TLS
4 Anwendungen der TLS
5 Schlusswort und ein letztes Beispiel
5.1 Schlussbeispiel
5.2 Zusammenfassung
1 Einleitung
Das Konzept der Total Least Squares (TLS) ist eine Datensch‰tztechnik, die statistische und numerische Methoden zusammenführt um Probleme zu lˆsen, die in einer grossen Anzahl von Anwendungen auftauchen. Im Grunde handelt es sich um eine Sch‰tzmethode für lineare Parameter, wie sie in zahlreichen Ge- bieten der Wissenschaft und Technik auftreten. Dazu z‰hlen unter anderem die Signalverarbeitung, die Systemtheorie, das allgemeine Ingenieurwesen, die Sta- tistik, die Physik wie auch die ÷konomie, die Biologie etc. Die Methode der TLS tr‰gt mehrere Namen und ist je nach Fachbereich auch als Orthogonalregression oder als das Ñerrors-in-variablesì Modell bekannt.
Dieser Artikel stellt die Methode der TLS dem bereits bekannten Ansatz zur Sch‰tzung linearer Parameter mittels Regressionsanalyse bzw. Ordinary Least Squares (OLS) gegenüber. Weiters werden mehrere Aspekte des TLS Problems diskutiert und mittels der Singular Value Decomposition (SVD) die Analyse des Problems durchgeführt.
Der Rest dieses Artikels ist wie folgt gegliedert: Abschnitt 2 führt mittels eines Beispiels zu OLS und TLS in die Methoden ein und gibt eine allgemeine Einführung in die lineare Parametersch‰tzung. In Abschnitt 3 werden die OLS der TLS Methode gegenübergestellt sowie die Prinzipien der TLS besprochen. Mittels der SVD wird eine Lˆsung der TLS angegeben. Der Autor stützt sich dabei vor allem auf die Beitr‰ge von Golub und Van Loan (1980), Van Huffel und Vandewalle (1991) wie auch Nievergelt (1994). Abschnitt 4 nennt eine Reihe von Anwendungen der TLS, w‰hrend die Hauptergebnisse dieses Artikels und der durchgeführten Analyse in Abschnitt 5 zusammengefasst werden.
2 Einführung in die lineare Parametersch‰tzung
Jede lineare Methode zur Parameterbestimmung beginnt mit einem Modell, dass durch eine lineare Gleichung beschrieben werden kann:
Abbildung in dieser Leseprobe nicht enthalten
Hier bezeichnen [Abbildung in dieser Leseprobe nicht enthalten] und die Variablen und [Abbildung in dieser Leseprobe nicht enthalten] stellt einen Vektor von Parametern dar, der das System charakterisiert.1 Das Basisproblem für die angewandte Mathematik ist es nun, die wahren aber un bekannten Parameter aufgrund von bestimmten Messungen der Variablen zu Önden. Dies ergibt im Regelfall ein überdeterminiertes System von m linearen Gleichungen (m > n). Dieses System schreiben wir wie folgt:
Abbildung in dieser Leseprobe nicht enthalten
Die i-te Spalte der Daten- oder Designmatrix A 2 Rmn und der Vektor b 2 Rm enthalten die Messungen der Variablen 1;:::; n respektive . In der üblichen Schreibweise der Statistik und ÷konometrie Ax+" = b stellt " einen Fehlervektor dar.
Bemerkung 1 Wir bezeichnen mit 1;:::; n und die Modellvariablen. Mit A und b werden die Designmatrix respektive der Beobachtungsvektor bezeichnent w‰hrend aij beziehungsweise bi Elemente von A und b darstellen.
In der klassischen OLS-Methode wird angenommen, dass die Messungen aij der Daten- beziehungsweise Designmatrix aus (2) fehlerfrei sind. Damit wer- den alle Fehler in den Daten im Vektor der Beobachtungen b beziehungsweise im Fehlervektor " aufgefangen. Diese Annahme über die Fehler ist allerdings oft unrealistisch: Modellfehler, menschliche Fehler, Fehler im Datensampling, Mess- probleme, usw. kˆnnen auch zu Ungenauigkeiten der Designmatrix A führen. Das TLS Verfahren ist eine angemessene Fittingmethode, wenn sowohl die Be- obachtungen b als auch die Designmatrix A Fehler enthalten. Es handelt sich da- bei darum, den Ñbestenì Teilraum zu den Datenmessungen [Abbildung in dieser Leseprobe nicht enthalten] und aTi deri-teZeilenvektorvonA.ImeinfachstenBasismodellderOLSwerden die Fehler "i mit Erwartungswert Null und konstanter Varianz realisiert, also [Abbildung in dieser Leseprobe nicht enthalten]. Im Falle der TLS gilt für die Statistik auf ‰hnliche Weise
für [Abbildung in dieser Leseprobe nicht enthalten]mit aj und 6° den wahren Werten aus der Matrix (des Vektors) A = [Abbildung in dieser Leseprobe nicht enthalten] und b = 61,bm\T. Aai und Abi stellen zufallige Fehlerterme der wahren Werte aj und b® der Variablen a und 3 dar.2
Abbildung in dieser Leseprobe nicht enthalten
Bemerkung 2 Van Huffel und Vandewalle (1991) bemerken, dass sich TLS vor allem zur Sch‰tzung von Parametern eignet und weniger zu deren Vorhersage. Wie leicht ersichtlich ist, wird die Schwierigkeit der Voraussage n‰mlich durch (3) bedeutend erhˆht.
2.1 Ein einfaches Beispiel
Um eine Idee der beiden Methoden OLS und TLS zu bekommen, betrachten wir hier das einfachste Beispiel aller Parametersch‰tzungen, n‰mlich jenes mit nur einem zu sch‰tzenden Parameter n = 1. Die Gleichung (1) kann dann wie folgt geschrieben werden:
Abbildung in dieser Leseprobe nicht enthalten
2.1.1 Die Lˆsung des Beispiels mittels OLS
Wenn tats‰chlich beobachtbar ist, also wenn ai = 0, dann sind s‰mtliche Fehler nur in den Messungen der Variablen enthalten. Dies erlaubt es, zur Lˆsung von (4) das Verfahren der OLS zu verwenden. Diese Methode versucht die Summe der Fehler der quadratischen Di§erenzen
Der beste Sch‰tzer[Abbildung in dieser Leseprobe nicht enthalten]:
Abbildung in dieser Leseprobe nicht enthalten
Die OLS Regression x = von (4) hat eine direkte graphische Interpretation wie in Abbildung 1 dargestellt.
2.1.2 Die Lˆsung des Beispiels mittels TLS
Gibt es allerdings Fehler in beiden Variablen, also ai = 0 und bi = 0, so wer- den die Hypothesen der OLS Methode verletzt. In diesem Fall kommt die TLS Methode zum Zug. Wenn s‰mtliche Fehler unabh‰ngig und gleich verteilt sind mit Erwartungswert Null und konstanter Vararianz, so wird der beste Sch‰t- zer von x durch die Minimierung der Summe der orthogonalen Abst‰nde der Beobachtungen zum ModellÖt gegeben. Abbildung 2 pr‰sentiert die Idee der
Abbildung in dieser Leseprobe nicht enthalten
Abbildung 1: Geometrische Interpretation der OLS Sch‰tzung von x =
Abbildung in dieser Leseprobe nicht enthalten
Abbildung 2: Idee der orthogonalen Minimierung
Abbildung in dieser Leseprobe nicht enthalten
Abbildung 3: Geometrische Interpretation der TLS Sch‰tzung von x =
3 Die Prinzipien des TLS Problems
Wie erw‰hnt wurde das TLS Verfahren als Alternative zum OLS Verfahren eingeführt, für den Fall, dass alle Daten von Fehlern betro§en sind. In diesem Abschnitt lˆsen wir das Problem der TLS und der OLS für überdeterminierte Systeme Ax b wie in (2) gegeben.
3.1 Das OLS Problem
Betrachten wir das Problem aus der Gleichung (2) für einen Vektor von Para- metern x 2 Rn. In diesem Fall nehmen wir an, dass die Matrix A 2 Rmn und alle Beobachtungen b 2 Rm gegeben sind.
[...]
1 Der Leser wird darauf aufmerksam gemacht. dass in Disziplinen wie der Statistik oder der Okonometrie das oben angefUhrte Gleichungssystem (1) im Kegelfall mit + ...+xnpn = y angesetzt wird. In diesem Fall bezeichnen dann x^m, ...,x„ und y die Variablen und $ = [fii, ...:i3n]T G Rn stellt einen Vektor von zu bestimmenden Parametern dar.
2 Im betrachteten Beispielfall ist n = 1 und die Matrix A ist ein Vektor
-
¡Carge sus propios textos! Gane dinero y un iPhone X. -
¡Carge sus propios textos! Gane dinero y un iPhone X. -
¡Carge sus propios textos! Gane dinero y un iPhone X. -
¡Carge sus propios textos! Gane dinero y un iPhone X. -
¡Carge sus propios textos! Gane dinero y un iPhone X. -
¡Carge sus propios textos! Gane dinero y un iPhone X. -
¡Carge sus propios textos! Gane dinero y un iPhone X.