Eine Analyse des 'Total Least Squares'-Problems

Inhaltsverzeichnis

1 Einleitung

2 Einführung in die lineare Parametersch‰tzung
2.1 Ein einfaches Beispiel
2.1.1 Die Lˆsung des Beispiels mittels OLS
2.1.2 Die Lˆsung des Beispiels mittels TLS

3 Die Prinzipien des TLS Problems
3.1 Das OLS Problem
3.2 Das TLS Problem und die SVD
3.2.1 Die Singular Value Decomposition
3.2.2 Anwendung der SVD auf das Problem der TLS

4 Anwendungen der TLS

5 Schlusswort und ein letztes Beispiel
5.1 Schlussbeispiel
5.2 Zusammenfassung

1 Einleitung

Das Konzept der Total Least Squares (TLS) ist eine Datensch‰tztechnik, die statistische und numerische Methoden zusammenführt um Probleme zu lˆsen, die in einer grossen Anzahl von Anwendungen auftauchen. Im Grunde handelt es sich um eine Sch‰tzmethode für lineare Parameter, wie sie in zahlreichen Ge- bieten der Wissenschaft und Technik auftreten. Dazu z‰hlen unter anderem die Signalverarbeitung, die Systemtheorie, das allgemeine Ingenieurwesen, die Sta- tistik, die Physik wie auch die ÷konomie, die Biologie etc. Die Methode der TLS tr‰gt mehrere Namen und ist je nach Fachbereich auch als Orthogonalregression oder als das Ñerrors-in-variablesì Modell bekannt.

Dieser Artikel stellt die Methode der TLS dem bereits bekannten Ansatz zur Sch‰tzung linearer Parameter mittels Regressionsanalyse bzw. Ordinary Least Squares (OLS) gegenüber. Weiters werden mehrere Aspekte des TLS Problems diskutiert und mittels der Singular Value Decomposition (SVD) die Analyse des Problems durchgeführt.

Der Rest dieses Artikels ist wie folgt gegliedert: Abschnitt 2 führt mittels eines Beispiels zu OLS und TLS in die Methoden ein und gibt eine allgemeine Einführung in die lineare Parametersch‰tzung. In Abschnitt 3 werden die OLS der TLS Methode gegenübergestellt sowie die Prinzipien der TLS besprochen. Mittels der SVD wird eine Lˆsung der TLS angegeben. Der Autor stützt sich dabei vor allem auf die Beitr‰ge von Golub und Van Loan (1980), Van Huffel und Vandewalle (1991) wie auch Nievergelt (1994). Abschnitt 4 nennt eine Reihe von Anwendungen der TLS, w‰hrend die Hauptergebnisse dieses Artikels und der durchgeführten Analyse in Abschnitt 5 zusammengefasst werden.

2 Einführung in die lineare Parametersch‰tzung

Jede lineare Methode zur Parameterbestimmung beginnt mit einem Modell, dass durch eine lineare Gleichung beschrieben werden kann:

Abbildung in dieser Leseprobe nicht enthalten

Hier bezeichnen [Abbildung in dieser Leseprobe nicht enthalten] und die Variablen und [Abbildung in dieser Leseprobe nicht enthalten] stellt einen Vektor von Parametern dar, der das System charakterisiert.¹ Das Basisproblem für die angewandte Mathematik ist es nun, die wahren aber un bekannten Parameter aufgrund von bestimmten Messungen der Variablen zu Önden. Dies ergibt im Regelfall ein überdeterminiertes System von m linearen Gleichungen (m > n). Dieses System schreiben wir wie folgt:

Abbildung in dieser Leseprobe nicht enthalten

Die i-te Spalte der Daten- oder Designmatrix A 2 Rmn und der Vektor b 2 Rm enthalten die Messungen der Variablen 1;:::; n respektive . In der üblichen Schreibweise der Statistik und ÷konometrie Ax+" = b stellt " einen Fehlervektor dar.

Bemerkung 1 Wir bezeichnen mit 1;:::; n und die Modellvariablen. Mit A und b werden die Designmatrix respektive der Beobachtungsvektor bezeichnent w‰hrend aij beziehungsweise bi Elemente von A und b darstellen.

In der klassischen OLS-Methode wird angenommen, dass die Messungen aij der Daten- beziehungsweise Designmatrix aus (2) fehlerfrei sind. Damit wer- den alle Fehler in den Daten im Vektor der Beobachtungen b beziehungsweise im Fehlervektor " aufgefangen. Diese Annahme über die Fehler ist allerdings oft unrealistisch: Modellfehler, menschliche Fehler, Fehler im Datensampling, Mess- probleme, usw. kˆnnen auch zu Ungenauigkeiten der Designmatrix A führen. Das TLS Verfahren ist eine angemessene Fittingmethode, wenn sowohl die Be- obachtungen b als auch die Designmatrix A Fehler enthalten. Es handelt sich da- bei darum, den Ñbestenì Teilraum zu den Datenmessungen [Abbildung in dieser Leseprobe nicht enthalten] und aTi deri-teZeilenvektorvonA.ImeinfachstenBasismodellderOLSwerden die Fehler "i mit Erwartungswert Null und konstanter Varianz realisiert, also [Abbildung in dieser Leseprobe nicht enthalten]. Im Falle der TLS gilt für die Statistik auf ‰hnliche Weise

für [Abbildung in dieser Leseprobe nicht enthalten]mit aj und 6° den wahren Werten aus der Matrix (des Vektors) A = [Abbildung in dieser Leseprobe nicht enthalten] und b = 61,bm\T. Aai und Abi stellen zufallige Fehlerterme der wahren Werte aj und b® der Variablen a und 3 dar.²

Abbildung in dieser Leseprobe nicht enthalten

Bemerkung 2 Van Huffel und Vandewalle (1991) bemerken, dass sich TLS vor allem zur Sch‰tzung von Parametern eignet und weniger zu deren Vorhersage. Wie leicht ersichtlich ist, wird die Schwierigkeit der Voraussage n‰mlich durch (3) bedeutend erhˆht.

2.1 Ein einfaches Beispiel

Um eine Idee der beiden Methoden OLS und TLS zu bekommen, betrachten wir hier das einfachste Beispiel aller Parametersch‰tzungen, n‰mlich jenes mit nur einem zu sch‰tzenden Parameter n = 1. Die Gleichung (1) kann dann wie folgt geschrieben werden:

Abbildung in dieser Leseprobe nicht enthalten

2.1.1 Die Lˆsung des Beispiels mittels OLS

Wenn tats‰chlich beobachtbar ist, also wenn ai = 0, dann sind s‰mtliche Fehler nur in den Messungen der Variablen enthalten. Dies erlaubt es, zur Lˆsung von (4) das Verfahren der OLS zu verwenden. Diese Methode versucht die Summe der Fehler der quadratischen Di§erenzen

Der beste Sch‰tzer[Abbildung in dieser Leseprobe nicht enthalten]:

Abbildung in dieser Leseprobe nicht enthalten

Die OLS Regression x = von (4) hat eine direkte graphische Interpretation wie in Abbildung 1 dargestellt.

2.1.2 Die Lˆsung des Beispiels mittels TLS

Gibt es allerdings Fehler in beiden Variablen, also ai = 0 und bi = 0, so wer- den die Hypothesen der OLS Methode verletzt. In diesem Fall kommt die TLS Methode zum Zug. Wenn s‰mtliche Fehler unabh‰ngig und gleich verteilt sind mit Erwartungswert Null und konstanter Vararianz, so wird der beste Sch‰t- zer von x durch die Minimierung der Summe der orthogonalen Abst‰nde der Beobachtungen zum ModellÖt gegeben. Abbildung 2 pr‰sentiert die Idee der

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 1: Geometrische Interpretation der OLS Sch‰tzung von x =

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2: Idee der orthogonalen Minimierung

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 3: Geometrische Interpretation der TLS Sch‰tzung von x =

3 Die Prinzipien des TLS Problems

Wie erw‰hnt wurde das TLS Verfahren als Alternative zum OLS Verfahren eingeführt, für den Fall, dass alle Daten von Fehlern betro§en sind. In diesem Abschnitt lˆsen wir das Problem der TLS und der OLS für überdeterminierte Systeme Ax b wie in (2) gegeben.

3.1 Das OLS Problem

Betrachten wir das Problem aus der Gleichung (2) für einen Vektor von Para- metern x 2 Rn. In diesem Fall nehmen wir an, dass die Matrix A 2 Rmn und alle Beobachtungen b 2 Rm gegeben sind.

[...]

¹ Der Leser wird darauf aufmerksam gemacht. dass in Disziplinen wie der Statistik oder der Okonometrie das oben angefUhrte Gleichungssystem (1) im Kegelfall mit + ...+xnpn = y angesetzt wird. In diesem Fall bezeichnen dann x^m, ...,x„ und y die Variablen und $ = [fii, ...:i3n]T G Rn stellt einen Vektor von zu bestimmenden Parametern dar.

² Im betrachteten Beispielfall ist n = 1 und die Matrix A ist ein Vektor