Least Squares: Optimierungstechniken für Computer Vision: Methoden der kleinsten Quadrate

Von Fouad Sabry

Was sind kleinste Quadrate

Die Methode der kleinsten Quadrate ist eine Methode zur Parameterschätzung in der Regressionsanalyse, die auf der Minimierung der Summe der Quadrate der Residuen in den Ergebnissen von basiert jede einzelne Gleichung.

Wie Sie profitieren

(I) Einblicke und Validierungen zu den folgenden Themen:

Kapitel 1 : Kleinste Quadrate

Kapitel 2: Gauß?Markov-Theorem

Kapitel 3: Regressionsanalyse

Kapitel 4: Ridge-Regression

Kapitel 5 : Gesamtzahl der kleinsten Quadrate

Kapitel 6: Gewöhnliche kleinste Quadrate

Kapitel 7: Gewichtete kleinste Quadrate

Kapitel 8: Einfache lineare Regression

Kapitel 9: Verallgemeinerte kleinste Quadrate

Kapitel 10: Lineare kleinste Quadrate

(II) Beantwortung der häufigsten öffentlichen Fragen zu kleinsten Quadraten.

(III) Reale Welt Beispiele für die Verwendung der Methode der kleinsten Quadrate in vielen Bereichen.

Für wen dieses Buch gedacht ist

Profis, Studenten und Doktoranden, Enthusiasten, Bastler und andere die über das Grundwissen oder die Informationen für jede Art von kleinsten Quadraten hinausgehen möchten.

 

 

• Sprache: Deutsch
• Herausgeber: Eine Milliarde Sachkundig [German]
• Erscheinungsdatum: 11. Mai 2024

Buchvorschau

Kapitel 1: Kleinste Quadrate

Die Methode der kleinsten Quadrate ist ein Standardansatz in der Regressionsanalyse, der verwendet wird, um die Lösung von überbestimmten Systemen (Gleichungssätzen, in denen es mehr Gleichungen als Unbekannte gibt) zu approximieren. Dies wird erreicht, indem die Summe der Quadrate der Residuen, die in den Ergebnissen jeder einzelnen Gleichung gebildet werden, minimiert wird. Ein Residuum ist die Differenz zwischen einem beobachteten Wert und dem angepassten Wert, der von einem Modell bereitgestellt wird.

Die bedeutendste Anwendung findet sich im Bereich der Datenanpassung. Wenn das Problem erhebliche Unsicherheiten in der unabhängigen Variablen (der x-Variablen) aufweist, haben einfache Regressions- und Kleinste-Quadrate-Methoden Probleme; In solchen Fällen kann die für die Anpassung von Fehler-in-Variablen-Modellen erforderliche Methodik anstelle der Methode für kleinste Quadrate in Betracht gezogen werden. Wenn das Problem erhebliche Unsicherheiten in der unabhängigen Variablen (der x-Variablen) aufweist, haben einfache Regressions- und Kleinste-Quadrate-Methoden Probleme.

Es gibt zwei Arten von Problemen, die unter die Überschrift der kleinsten Quadrate fallen: lineare oder gewöhnliche kleinste Quadrate und nichtlineare kleinste Quadrate. Die Unterscheidung zwischen den beiden Typen basiert darauf, ob die Residuen in allen Unbekannten linear sind oder nicht. In der statistischen Regressionsanalyse wird eines der zu lösenden Probleme als lineares Problem der kleinsten Quadrate bezeichnet und hat eine geschlossene Lösung. Die iterative Verfeinerungsmethode wird häufig verwendet, um das nichtlineare Problem zu lösen. Bei jeder Iteration wird das System annähernd nach einem linearen Modell modelliert, so dass die grundlegende Berechnung für beide Szenarien gleich ist.

Die Varianz in einer Vorhersage der abhängigen Variablen als Funktion der unabhängigen Variablen und die Abweichungen von der angepassten Kurve werden beide durch polynomiale kleinste Quadrate beschrieben.

Wenn die Beobachtungen aus einer Exponentialfamilie stammen, deren Identität als natürliche ausreichende Statistik und milde Bedingungen erfüllt sind (z. B. für Normal-, Exponential-, Poisson- und Binomialverteilungen), sind standardisierte Schätzungen der kleinsten Quadrate und Maximum-Likelihood-Schätzungen gleich. Dies ist der Fall für alle exponentiellen Familien mit Identität als ihrer natürlichen ausreichenden Statistik. Die Technik der kleinsten Quadrate kann als eigenständige Methode des Momentenschätzers entwickelt werden.

Die folgende Argumentation ist fast ausschließlich in Bezug auf lineare Funktionen formuliert; Nichtsdestotrotz ist die Verwendung der kleinsten Quadrate nicht nur akzeptabel, sondern auch für generischere Funktionsfamilien machbar. Der Ansatz der kleinsten Quadrate kann auch verwendet werden, um ein erweitertes lineares Modell anzupassen, indem die lokale quadratische Approximation iterativ auf die Wahrscheinlichkeit angewendet wird (unter Verwendung der Fisher-Information). Dies ist möglich, wenn Sie die Fisher-Informationen verwenden.

Adrien-Marie Legendre gilt als derjenige, der als erster die Technik der kleinsten Quadrate entwickelte und veröffentlichte (1805). Während des Zeitalters der Entdeckungen bemühten sich Wissenschaftler und Mathematiker, Antworten auf die Probleme der Durchquerung der Gewässer der Erde mit dem Konzept der kleinsten Quadrate zu geben. Dieser Ansatz entstand aus den Wissenschaften der Astronomie und Geodäsie als Ergebnis ihrer Bemühungen. Die genaue Beschreibung des Verhaltens von Himmelskörpern war der Schlüssel dazu, dass Schiffe auf weiten Meeren fahren konnten, wo Seeleute für die Navigation nicht mehr auf Landsichtungen angewiesen waren. Dies war der Fall, da keine Küstensichtungen mehr verfügbar waren.

Dieser Ansatz stellte den Höhepunkt einer Reihe von Entwicklungen dar, die im Laufe des 18. Jahrhunderts stattgefunden hatten:

Aggregation ist der Prozess der Kombination mehrerer Beobachtungen, um zu einer möglichst genauen Schätzung des tatsächlichen Wertes zu gelangen. Fehler neigen dazu, sich als Ergebnis dieses Prozesses eher zu verringern als zu wachsen, der vielleicht ursprünglich von Roger Cotes im Jahr 1722 artikuliert wurde.

Der Prozess, viele Beobachtungen zu kombinieren, die unter den gleichen Umständen gemacht wurden, anstatt sich nur zu bemühen, eine einzelne Beobachtung so genau wie möglich zu beobachten und aufzuzeichnen. Die Strategie wurde oft als Durchschnittstechnik bezeichnet. Tobias Mayer, der 1750 die Librationen des Mondes untersuchte, und Pierre-Simon Laplace, der 1788 an der Erklärung der Bewegungsschwankungen von Jupiter und Saturn arbeitete, waren zwei bemerkenswerte Persönlichkeiten, die diese Technik in ihrer jeweiligen Forschung einsetzten.

Die Kombination einer Reihe von getrennten Beobachtungen, die unter verschiedenen Umständen gemacht wurden. Der Name Methode der geringsten absoluten Abweichung wurde der Technik im Laufe der Zeit gegeben. 1757 verwendete es Roger Joseph Boscovich in seinem Werk über die Form der Erde, und Pierre-Simon Laplace verwendete es 1799 für dieselbe Ausgabe. Beide Männer sind für ihre Beiträge auf diesem Gebiet bekannt.

Die Konstruktion eines Kriteriums, das untersucht werden kann, um festzustellen, ob die Lösung mit der geringsten Fehlermenge erhalten wurde, wird als Kriterienentwicklung bezeichnet. Laplace versuchte, einen Ansatz zur Schätzung vorzuschlagen, der zu den geringsten Schätzfehlern führen und eine mathematische Form der Wahrscheinlichkeitsdichte für die Fehler bereitstellen würde. Laplace modellierte die Fehlerverteilung unter Verwendung einer symmetrischen zweiseitigen Exponentialverteilung, die wir jetzt als Laplace-Verteilung bezeichnen. Er verwendete die Summe der absoluten Abweichung als Schätzfehler. Er glaubte, dass dies die einfachsten Annahmen waren, die er machen konnte, und er hatte sich gewünscht, das arithmetische Mittel als die genaueste Schätzung zu erhalten, die er erreichen konnte. Stattdessen verließ er sich auf den hinteren Median als Schätzung.

Im Jahr 1805 lieferte der französische Mathematiker Legendre die erste umfassende und klare Erklärung der Technik der kleinsten Quadrate. Dies führte natürlich zu einer Meinungsverschiedenheit über den Vorrang mit Legendre. Es ist jedoch Gauß' Verdienst, dass er über die Arbeit von Legendre hinausging und die Technik der kleinsten Quadrate erfolgreich mit den Gesetzen der Wahrscheinlichkeit und der Normalverteilung kombinieren konnte. Das ist eine Leistung, die es wert ist, gelobt zu werden. Er hatte erfolgreich Laplaces Programm abgeschlossen, das von ihm verlangte, eine mathematische Form der Wahrscheinlichkeitsdichte für die Beobachtungen in Abhängigkeit von einer endlichen Anzahl unbekannter Parameter anzugeben und eine Schätzmethode zu definieren, die den Schätzfehler minimiert. Außerdem hatte er eine mathematische Form der Wahrscheinlichkeitsdichte für die Beobachtungen in Abhängigkeit von einer endlichen Anzahl unbekannter Parameter festgelegt. Gauß zeigte, dass das arithmetische Mittel tatsächlich die beste Schätzung des Ortsparameters ist, indem er sowohl die Wahrscheinlichkeitsdichte als auch die Schätztechnik modifizierte. Er tat dies, um zu beweisen, dass das arithmetische Mittel die beste Schätzung ist. Dann lenkte er das Thema in eine neue Richtung, indem er hinterfragte, welche Form die Dichte annehmen sollte und welche Schätztechnik verwendet werden sollte, um das arithmetische Mittel als Schätzung des Standortparameters zu erhalten. Damit schloss sich der Kreis. Als Ergebnis dieses Unterfangens kam er auf die Normalverteilung.

Die Leistungsfähigkeit von Gauß' Ansatz wurde erstmals gezeigt, als er eingesetzt wurde, um zu bestimmen, wo der kürzlich entdeckte Asteroid Ceres in Zukunft landen würde. Dies war eines der ersten Beispiele für die Nützlichkeit der Methode. Giuseppe Piazzi, ein italienischer Astronom, machte die Entdeckung von Ceres am 1. Januar 1801. Er konnte seine Bewegung vierzig Tage lang beobachten, bis er vom Glanz der Sonne verdeckt wurde. Die Astronomen wollten die Position von Ceres identifizieren, sobald sie hinter der Sonne auftauchte, aber sie wollten dafür nicht Keplers schwierige nichtlineare Gleichungen der Planetenbewegung lösen. Mit Hilfe der Analyse der kleinsten Quadrate waren die einzigen Vorhersagen, die für den ungarischen Astronomen Franz Xaver von Zach genau genug waren, um Ceres erfolgreich zu verlegen, die des 24-jährigen Gauß.

1810, nachdem er Gauß' Arbeit gelesen hatte, bewies Laplace den zentralen Grenzwertsatz und verwendete ihn dann, um eine große Stichprobenbegründung für die Technik der kleinsten Quadrate und die Normalverteilung zu erstellen. Dies geschah, nachdem Gauß' Werk ins Französische übersetzt worden war. Im Jahr 1822 konnte Gauß zeigen, dass die Methode der kleinsten Quadrate zur Durchführung von Regressionsanalysen die effektivste verfügbare Methode ist. Dies wurde erreicht, indem gezeigt wurde, dass in einem linearen Modell, in dem die Fehler einen Mittelwert von Null haben, unkorreliert sind und gleiche Varianzen aufweisen, der Schätzer der kleinsten Quadrate der beste lineare unverzerrte Schätzer der Koeffizienten ist. Der Name dieser Entdeckung ist das Gauß-Markov-Theorem.

Das Konzept der Analyse der kleinsten Quadrate wurde auch von dem Amerikaner Robert Adrain im Jahr 1808 separat konzipiert. In den folgenden zwei Jahrhunderten entwickelten Forscher, die in der