Grundlegende Matrix für Computer Vision: Bitte schlagen Sie einen Untertitel für ein Buch mit dem Titel „Computer Vision Fundamental Matrix“ im Bereich „Computer Vision“ vor. Der vorgeschlagene Untertitel sollte kein „:“ enthalten.

Von Fouad Sabry

Was ist die Computer-Vision-Grundmatrix?

Im Bereich der Computer-Vision ist die Fundamental-Matrix ein wesentlicher Begriff, der bei Stereovision und Jobs verwendet wird, bei denen es um Struktur aus Bewegung geht . Wenn zwei Fotos aus unterschiedlichen Perspektiven aufgenommen werden, wird die geometrische Beziehung dargestellt, die zwischen den einander entsprechenden Punkten besteht. Durch den Einsatz der Fundamentalmatrix ist es möglich, Epipolarlinien zu ermitteln, die für die Stereoanpassung und Wiedergabe in drei Dimensionen notwendig sind.

Ihr Nutzen

(I) Einblicke und Validierungen zu den folgenden Themen:

Kapitel 1: Grundlegende Matrix (Computer Vision)

Kapitel 2: Skaleninvariante Feature-Transformation

Kapitel 3: Kameraresektion

Kapitel 4: Korrespondenzproblem

Kapitel 5: Epipolare Geometrie

Kapitel 6: Wesentliche Matrix

Kapitel 7: Bildentzerrung

Kapitel 8: Kameramatrix

Kapitel 9: Lochkameramodell

Kapitel 10: Acht-Punkte-Algorithmus

(II) Beantwortung der häufigsten öffentlichen Fragen zur Computer-Vision-Grundmatrix.

(III) Beispiele aus der Praxis für die Verwendung der Computer-Vision-Grundmatrix in vielen Bereichen.

An wen sich dieses Buch richtet

Profis, Studenten und Doktoranden, Enthusiasten, Hobbyisten und diejenigen, die über das Grundwissen oder die Informationen für irgendeine Art von Computer Vision Fundamental Matrix hinausgehen möchten.

 

 

• Sprache: Deutsch
• Herausgeber: Eine Milliarde Sachkundig [German]
• Erscheinungsdatum: 30. Apr. 2024

Buchvorschau

Kapitel 1: Fundamentale Matrix (Computer Vision)

Computer Vision ist die Lehre davon, wie Maschinen sehen, die fundamentale Matrix \mathbf {F} ist eine 3×3-Matrix, die entsprechende Punkte in Stereobildern in Beziehung setzt.

Zum Beispiel beschreibt Fx im Bereich der epipolaren Geometrie mit einem standardisierten Satz von Bildkoordinaten, x und x', Punkten in einem Stereopaar, die sich aufeinander beziehen, eine Linie (eine epipolare Linie), auf der der entsprechende Punkt x' auf dem anderen Bild liegen muss.

Das heißt, für alle parallelen Koordinatensätze

{\mathbf {x}}'^{{\top }}{\mathbf {Fx}}=0.

Die Fundamentalmatrix kann mit mindestens sieben Punktentsprechungen angenähert werden, da sie Rang 2 hat und nur bis zur Skala bestimmt wird. Seine sieben Parameter sind alles, was geometrisch über Kameras bestimmt werden kann, indem man ausschließlich Punkt-zu-Punkt-Korrespondenzen verwendet.

QT Luong verwendete den Begriff Basismatrix erstmals in seiner bahnbrechenden Doktorarbeit. Er wird in einigen Zusammenhängen auch als bifokaler Tensor bezeichnet. Es handelt sich um eine bilineare Form, die Punkte in verschiedenen Koordinatensystemen verbindet, was sie zu einem Zwei-Punkt-Tensor macht.

Im Jahr 1992 veröffentlichten Olivier Faugeras und Richard Hartley unabhängig voneinander die obige Relation, die die fundamentale Matrix festlegt.

Obwohl H.

Ähnliche Anforderungen erfüllt Christopher Longuet-Higgins' essentielle Matrix, kalibrierte Kameras verwenden die essentielle Matrix, die ein metrisches Objekt ist, während die breiteren und grundlegenderen Konzepte der projektiven Geometrie durch die fundamentale Matrix beschrieben werden.

Dies wird mathematisch erfasst durch die Beziehung zwischen einer Fundamentalmatrix \mathbf {F} und der entsprechenden essentiellen Matrix \mathbf {E} , die

{\displaystyle \mathbf {E} =({\mathbf {K} '})^{\top }\;\mathbf {F} \;\mathbf {K} }

\mathbf {K} und {\mathbf {K}}' da es sich um die intrinsischen Kalibrierungsmatrizen der beiden beteiligten Bilder handelt.

Die grundlegende Matrix ist eine Einschränkung, wo Punkte aus einer Szene in zwei verschiedene Bilder derselben Szene projiziert werden können. Um die Suche zu erleichtern und die Erkennung falscher Übereinstimmungen zu ermöglichen, bewirkt die Projektion eines Szenenpunkts in eines der Bilder, dass der entsprechende Punkt im anderen Bild auf eine Linie beschränkt wird. Epipolare Einschränkung, Matching-Einschränkung, diskrete Matching-Einschränkung und Inzidenzrelation sind alle Bezeichnungen für dasselbe: die Beziehung zwischen Punktpaaren, die durch die Fundamentalmatrix dargestellt werden.

Eine Reihe von Punktkorrespondenzen kann verwendet werden, um die Basismatrix zu berechnen. Darüber hinaus können Kameramatrizen, die direkt aus dieser Basismatrix erstellt wurden, verwendet werden, um zwischen diesen jeweiligen Bildpunkten und den zugehörigen Weltpositionen zu triangulieren. Diese Weltpunkte bilden eine Szene, die in gewisser Weise eine Projektion der realen Welt ist.

Nehmen wir an, dass die Bildpunktkorrespondenz {\mathbf {x}}\leftrightarrow {\mathbf {x'}} vom Weltpunkt {\textbf {X}} unter den Kameramatrizen \left({\textbf {P}},{\textbf {P}}'\right) als

{\begin{aligned}{\mathbf {x}}&={\textbf {P}}{\textbf {X}}\\{\mathbf {x'}}&={\textbf {P}}'{\textbf {X}}\end{aligned}}

Nehmen wir an, wir transformieren den Raum durch eine allgemeine Homographie-Matrix {\textbf {H}}_{{4\times 4}} , so dass {\textbf {X}}_{0}={\textbf {H}}{\textbf {X}} .

Danach verwandeln sich die Kameras in

{\begin{aligned}{\textbf {P}}_{0}&={\textbf {P}}{\textbf {H}}^{{-1}}\\{\textbf {P}}_{0}'&={\textbf {P}}'{\textbf {H}}^{{-1}}\end{aligned}}{\textbf {P}}_{0}{\textbf {X}}_{0}={\textbf {P}}{\textbf {H}}^{{-1}}{\textbf {H}}{\textbf {X}}={\textbf {P}}{\textbf {X}}={\mathbf {x}}

Und ebenso erhalten {\textbf {P}}_{0}' wir immer noch die gleichen Bildpunkte.

Es ist auch möglich, die Koplanaritätsanforderung zu verwenden, um die Basismatrix zu erhalten.

Die epipolare Geometrie wird als Stereobild in der Fundamentalmatrix dargestellt. Gerade Linien stellen die epipolare Geometrie in perspektivischen Kameraansichten dar. Im Gegensatz dazu entsteht das Bild eines Satellitenbildes, während sich der Sensor durch seine Umlaufbahn bewegt (Pushbroom-Sensor). Infolgedessen nimmt die Epipolarlinie die Form einer epipolaren Kurve an, und die Projektionszentren für eine bestimmte Bildszene werden gestreut. Die Basismatrix kann jedoch in bestimmten Fällen zur Korrektur von Satellitenfotos verwendet werden, z. B. bei der Arbeit mit kleinen Bildkacheln.

Die primäre Matrix ist eine Rang-2-Matrix. Sein Zentrum ist es, was ihn zu einem Epipol macht.

{Ende Kapitel 1}

Kapitel 2: Skaleninvariante Feature-Transformation

David Lowe entwickelte 1999 die skaleninvariante Merkmalstransformation (SIFT) als Computer-Vision-Algorithmus zum Auffinden, Charakterisieren und Abgleichen lokaler Merkmale in Bildern. Objekterkennung, robotergestützte Kartierung und Navigation, Bildzusammenfügen, dreidimensionale Modellierung, Gestenerkennung, Videoverfolgung, individuelle Wildtierbestimmung und Matchmaking sind nur einige der vielen Einsatzmöglichkeiten für diese Technologie.

Objekt-SIFT-Schlüsselpunkte werden zunächst aus einem Trainingssatz von Bildern extrahiert.

Es ist möglich, eine Merkmalsbeschreibung eines beliebigen Objekts in einem Bild zu erstellen, indem Schlüsselpunkte über dieses Objekt isoliert werden. Wenn Sie versuchen, ein Objekt in einem Testbild mit vielen anderen Objekten zu finden, kann diese Beschreibung verwendet werden, da sie aus einem Trainingsbild extrahiert wurde. Die aus dem Trainingsbild extrahierten Merkmale müssen trotz unterschiedlicher Bildskala, Rauschen und Beleuchtung erkennbar sein, wenn eine zuverlässige Erkennung erreicht werden soll. Diese Flecken befinden sich in der Regel an Bildrändern oder anderen Bereichen mit hohem Kontrast.

Darüber hinaus sollten diese Features von einem Bild zum nächsten die gleichen relativen Positionen beibehalten wie in der Originalszene. Wenn nur die vier Ecken einer Tür als Merkmale verwendet würden, würde die Erkennung gelingen, unabhängig davon, ob die Tür offen oder geschlossen ist. Wenn jedoch auch Punkte im Rahmen verwendet würden, würde die Erkennung in beiden Fällen fehlschlagen. Wenn sich die interne Geometrie eines artikulierten oder flexiblen Objekts zwischen zwei Bildern in dem zu verarbeitenden Satz ändert, funktionieren die in diesem Objekt befindlichen Features wahrscheinlich nicht mehr. Während diese lokalen Variationen einen erheblichen Einfluss auf den durchschnittlichen Fehler aller Merkmalsübereinstimmungsfehler haben können, erkennt und verwendet SIFT in der Praxis eine viel größere Anzahl von Merkmalen aus den Bildern, wodurch ihre Auswirkungen abgeschwächt werden.

Dieser Abschnitt bietet einen kurzen Überblick über den ursprünglichen SIFT-Algorithmus und erläutert kurz einige alternative Methoden zur Objekterkennung in Umgebungen mit vielen Hintergrundgeräuschen oder verdeckten Ansichten.

Der SIFT-Deskriptor verwendet rezeptive