Dreidimensionale Multi-View-Rekonstruktion: Fortgeschrittene Techniken zur räumlichen Wahrnehmung in der Computer Vision

Von Fouad Sabry

Was ist dreidimensionale Multi-View-Rekonstruktion

3D-Rekonstruktion aus mehreren Bildern ist die Erstellung dreidimensionaler Modelle aus einer Reihe von Bildern. Es handelt sich um den umgekehrten Prozess zur Gewinnung von 2D-Bildern aus 3D-Szenen.

Wie Sie davon profitieren

(I) Einblicke und Validierungen zu den folgenden Themen:

Kapitel 1: 3D-Rekonstruktion aus mehreren Bildern

Kapitel 2: Grundlegende Matrix (Computer Vision)

Kapitel 3: Triangulation (Computer Vision)

Kapitel 4: Perspektive-n-Punkt

Kapitel 5: Bildzusammenfügung

Kapitel 6: Aktives Konturmodell

Kapitel 7: Bündelanpassung

Kapitel 8: Skalierungsinvariante Feature-Transformation

Kapitel 9: 3D-Objekterkennung

Kapitel 10: Automatische Kamerakalibrierung

(II) Beantwortung der häufigsten öffentlichen Fragen zur dreidimensionalen Multi-View-Rekonstruktion.

(III) Beispiele aus der Praxis für die Verwendung der dreidimensionalen Multi-View-Rekonstruktion in vielen Bereichen.

Wer das? Das Buch richtet sich an

Profis, Studenten und Doktoranden, Enthusiasten, Bastler und diejenigen, die über das Grundwissen oder die Informationen für jede Art von dreidimensionaler Multi-View-Rekonstruktion hinausgehen möchten.

 

 

• Sprache: Deutsch
• Herausgeber: Eine Milliarde Sachkundig [German]
• Erscheinungsdatum: 14. Mai 2024

Buchvorschau

Kapitel 1: 3D-Rekonstruktion aus mehreren Bildern

Der Prozess der Erstellung eines 3D-Modells aus einer Sammlung von 2D-Fotos wird als 3D-Rekonstruktion bezeichnet. Es ist die Technik, mit der 3D-Szenen in 2D-Bilder umgewandelt werden.

Bilder sind im Wesentlichen Projektionen von dreidimensionalen Szenen auf eine zweidimensionale Ebene, in der die Tiefeninformationen verloren gehen. Für einen bestimmten Bildpunkt muss der passende 3D-Punkt entlang der Sichtlinie des Betrachters liegen. Welcher Punkt auf dieser Linie dem Bildpunkt entspricht, kann man nicht allein anhand eines einzelnen Bildes erkennen. Wenn wir Zugriff auf zwei Fotos haben, können wir die 3D-Koordinaten eines Punktes bestimmen, indem wir die Stelle finden, an der sich die beiden Projektionsstrahlen verbinden. Die Triangulation beschreibt diese Methode. Beziehungen zwischen verschiedenen Ansichten sind entscheidend, da sie das Wissen vermitteln, dass Punktpaare miteinander korrelieren, weil es eine zugrunde liegende Struktur zwischen ihnen geben muss, und dass diese Struktur wiederum mit den Posen und der Kamerakalibrierung zusammenhängt.

In den letzten Jahrzehnten hat sich der Fokus weg von 2D-Grafiken und hin zu 3D-Inhalten für Computergrafik, virtuelle Realität und Kommunikation verlagert. Viele der aktuellen Methoden zur Erstellung von 3D-Modellen basieren auf teurer, spezialisierter Hardware (z. B. Stereo-Rigs), die für die meisten vorhandenen Anwendungen nicht erforderlich ist. Die Notwendigkeit, diese Lücke zu füllen, treibt die Einführung digitaler Bildgebungstechnologien (wie einer Kamera) voran. Tomasi und Kanade schlugen eine Technik vor, die damals verwendet wurde. Um 3D-Daten aus Videosequenzen zu gewinnen, verwendeten sie eine affine Faktorisierungsmethode. Ein großer Fehler in diesem Ansatz besteht jedoch darin, dass er auf orthographischer Projektion beruht.

Es gibt eine bestimmte Abfolge von Operationen, die ausgeführt werden müssen, um eine Sammlung von 2D-Fotos in ein 3D-Modell umzuwandeln:

Bei der Kamerakalibrierung sind sowohl interne als auch externe Parameter beteiligt, ohne die keine algorithmische Konfiguration genaue Ergebnisse liefern kann. Kalibrierung und Tiefenbestimmung sind durch eine durchgezogene Linie getrennt, da die Kalibrierung für die meisten Tiefenbestimmungen erforderlich ist.

Der schwierigste Teil dieser Methode ist die Schätzung der Tiefe, der dritten Dimension, die in einem bestimmten Bild immer fehlt. Die größte Herausforderung ist das Korrespondenzproblem, bei dem übereinstimmende Merkmale in zwei Bildern so lokalisiert werden müssen, dass ihre 3D-Koordinaten trianguliert werden können.

Sobald Sie viele Tiefenkarten haben, können Sie sie mithilfe der Registrierung zusammenführen, um mithilfe von Tiefenberechnungen und Kameraprojektionen ein endgültiges Netz zu erhalten. Um mehrere Perspektiven zu bieten, wird die Kamerakalibrierung verwendet, um zu bestimmen, welche der zahlreichen von Tiefenkarten erzeugten Netze zu einem größeren kombiniert werden können.

Obwohl ein fertiges 3D-Netz in der Phase der Materialanwendung möglich ist, ist es üblicher, an dieser Stelle die Farbe aus den Quellfotos hinzuzufügen. Die Segmentierung des Modells nach Material, wie z. B. spiegelnde und diffuse Qualitäten, ist eine weitere Option. Dies kann auf verschiedene Arten erreicht werden, von der zufälligen Projektion der Bilder auf das Mesh bis hin zum Mischen der Texturen für eine Superauflösung.

Bei einer Gruppe von 3D-Punkten, die von N Kameras mit Matrizen betrachtet werden \{P^{i}\}_{{i=1\ldots N}} , definieren Sie m_{j}^{i}\simeq P^{i}w_{j} die homogenen Koordinaten der Projektion des Punktes j^{th} auf die i^{th} Kamera.

Das Rekonstruktionsproblem kann wie folgt geändert werden: Ermitteln Sie anhand der Gruppe von Pixelkoordinaten \{m_{j}^{i}\} den entsprechenden Satz von Kameramatrizen \{P^{i}\} und die Szenenstruktur \{w_{j}\} so, dass

m_{j}^{i}\simeq P^{i}w_{j} (1)

Im Allgemeinen, ohne weitere Grenzen, ist eine projektive Rekonstruktion das, was wir am Ende haben werden.

Wenn \{P^{i}\} und \{w_{j}\} (1) erfüllen \{P^{i}T\} und \{T^{{-1}}w_{j}\} (1) mit einer beliebigen 4 × 4 nichtsingulären Matrix T erfüllen.

Ohne Vorkenntnisse kann eine projektive Rekonstruktion allein durch die Entsprechung von Punkten berechnet werden.

Der erste Schritt bei der automatischen Kalibrierung, auch als Selbstkalibrierung bezeichnet, ist die Wiederherstellung von Kamerabewegungen und -parametern über die Steifigkeit. Dann werden die statischen Berechnungen einfach. Hier sind zwei Ansätze, um diesen Plan in die Tat umzusetzen:

Die internen Eigenschaften der Kamera können mit mindestens drei Verschiebungen unter Verwendung eines von Kruppa entwickelten Satzes von Polynomgleichungen berechnet werden. Die Matrix K=AA^{{\top }} ist in den Kruppa-Gleichungen, Matrix der Kruppa-Koeffizienten, unbekannt.

Es ist einfach, die intrinsischen Parameter mit K und der Cholesky-Faktorisierungstechnik zu berechnen:

K={\begin{bmatrix}k_{1}&k_{2}&k_{3}\\k_{2}&k_{4}&k_{5}\\k_{3}&k_{5}&1\\\end{bmatrix}}

Eine neue, einfachere Version wurde kürzlich von Hartley vorgestellt.

Es sei F geschrieben als F=DUV^{\top } , wobei

Anschließend werden die Kruppa-Gleichungen neu formuliert (die Herleitung finden Sie in )

Der Schlüssel zu dieser Strategie ist die strikte Einhaltung von Einschränkungen.

Erstellen Sie ein Preismodell, Es berücksichtigt grundlegende Matrizen als Argumente und systeminterne Parameter als Eingabe.

{\displaystyle {F}_{ij}} ist als fundamentale Matrix {A}_{i} und {A}_{j} als intrinsische Parametermatrizen definiert.

In letzter Zeit wurden neue Ansätze vorgeschlagen, die auf der Idee der Schichtung basieren. Aktualisieren Sie diese projektive Rekonstruktion auf eine euklidische Rekonstruktion, indem Sie alle verfügbaren Randbedingungen verwenden, ausgehend von einer projektiven Struktur, die nur mit Korrespondenzen berechnet werden kann. Dadurch kann das Problem in überschaubare Blöcke zerlegt werden, von denen jeder je nach Anzahl der verfügbaren Einschränkungen auf einer anderen Ebene (projektiv, affin oder euklidisch) untersucht werden kann.

Typischerweise stellen wir uns die Welt als einen dreidimensionalen euklidischen Raum vor. Die gesamte euklidische Struktur des 3D-Raums kann nicht in allen Situationen verwendet werden. Die projektive Geometrie ist die einfachste, gefolgt von der affinen Geometrie (einer Zwischenschicht) und der euklidischen Geometrie (der komplexesten). Eine Reihe von projektiven Transformationen (eine Homographie) findet sich in der projektiven Schicht, eine affine Reihe von Transformationen findet sich in der affinen Schicht und eine euklidische Reihe von Transformationen findet sich in