Synthese anzeigen: Erkundung von Perspektiven in der Computer Vision

Von Fouad Sabry

Was ist Ansichtssynthese

Auf dem Gebiet der Computergrafik ist Ansichtssynthese, auch bekannt als neuartige Ansichtssynthese, eine Aufgabe, die die Erzeugung von Bildern eines bestimmten Objekts beinhaltet Thema oder Szene aus einem bestimmten Blickwinkel. Diese Methode wird in Situationen eingesetzt, in denen die einzigen verfügbaren Informationen aus Fotos bestehen, die aus verschiedenen Blickwinkeln aufgenommen wurden.

Ihr Nutzen

(I) Einblicke und Validierungen zu den folgenden Themen:

Kapitel 1: Ansichtssynthese

Kapitel 2: Bildregistrierung

Kapitel 3: Bildbasierte Modellierung und Rendering

Kapitel 4: Aktives Sehen

Kapitel 5: 3D-Rekonstruktion

Kapitel 6: Omnidirektionale (360-Grad) Kamera

Kapitel 7: 2D-zu-3D-Konvertierung

Kapitel 8: DeepDream

Kapitel 9: Visuelles Sensornetzwerk

Kapitel 10: Video-Superauflösung

( II) Beantwortung der häufigsten öffentlichen Fragen zur Ansichtssynthese.

(III) Beispiele aus der Praxis für die Verwendung der Ansichtssynthese in vielen Bereichen.

Für wen dieses Buch gedacht ist

Profis, Studenten und Doktoranden, Enthusiasten, Hobbyisten und diejenigen, die für jede Art von Ansichtssynthese über das Grundwissen oder die Informationen hinausgehen möchten.

 

 

• Sprache: Deutsch
• Herausgeber: Eine Milliarde Sachkundig [German]
• Erscheinungsdatum: 5. Mai 2024

Buchvorschau

Kapitel 1: View-Synthese

Die Ansichtssynthese zielt darauf ab, einzigartige Perspektiven auf ein bestimmtes Motiv zu bieten, indem eine Reihe von Bildern kombiniert wird, die aus unterschiedlichen Blickwinkeln aufgenommen wurden.

Derzeit arbeiten die Bereiche Informatikforschung, Sehforschung und Künstliche Intelligenz gemeinsam an der Definition geeigneter Problemlösungsstrategien.

Bei der Ansichtssynthese werden mehrere Bilder eines bestimmten Motivs aus einem bestimmten Blickwinkel und mit einer bestimmten Kameraausrichtung und -einstellung aufgenommen und dann ein synthetisches Bild erstellt, das von einer virtuellen Kamera aufgenommen zu werden scheint, die sich an einem anderen Standpunkt und mit denselben Einstellungen befindet.

Mit Hilfe von Webcams interagieren zwei Personen über ihre Computer. Versuchen Sie, Fotos so zu rendern, als wären sie von einer virtuellen Webcam hinter dem Programmfenster aufgenommen worden. Dies würde das seit langem bestehende Problem des Augenkontakts lösen, das diese Umgebung geplagt hat. Die Benutzer nehmen eine doppelte Illusion wahr: Jeder schaut in das Gesicht des anderen, aber keiner hat die richtige Wahrnehmung davon.

Ein Beispiel für eine Anwendung zur Ansichtssynthese ist Free Viewpoint Television.

{Ende Kapitel 1}

Kapitel 2: Bildregistrierung

Das Registrieren eines Bildes bedeutet, es aus vielen Koordinatensystemen in ein einziges zu konvertieren. Mehrere Bilder, Daten von verschiedenen Sensoren, Zeiten, Tiefen und Perspektiven sind alles mögliche Formen von Daten. Militärische Anwendungen der autonomen Zielerkennung und Datenerfassung und -analyse von Satelliten. Daten aus diesen vielen Metriken können nicht verglichen oder integriert werden, ohne sich vorher für ein Konto zu registrieren.

Algorithmen für die Bildregistrierung, auch bekannt als Bildausrichtung, lassen sich in zwei große Kategorien einteilen: intensitätsbasiert und merkmalsbasiert.

Es ist auch möglich, Bildregistrierungsalgorithmen basierend auf den Transformationsmodellen zu kategorisieren, die sie verwenden, um eine Korrespondenz zwischen den Räumen des Zielbildes und dem Referenzbild herzustellen. Lineare Transformationen (einschließlich Rotation, Skalierung, Translation und andere affine Transformationen) sind die erste übergreifende Klasse von Transformationsmodellen, gefolgt von physikalischen Kontinuumsmodellen (viskose Flüssigkeiten) und schließlich massiven Deformationsmodellen (Diffeomorphismen).

Parametrisierung ist eine häufige Möglichkeit, Transformationen auszudrücken. Die Anzahl der Parameter wird oft vom Modell festgelegt. Ein solcher Parameter ist ein Translationsvektor, der verwendet werden kann, um die Übersetzung eines ganzen Bildes zu definieren. Parametrische Modelle sind diejenigen, die Parameter haben. Im Gegensatz dazu halten sich nicht-parametrische Modelle an keine Parametrisierung, was eine zufällige Verschiebung einzelner Bildelemente ermöglicht.

Mehrere Softwarepakete unterstützen sowohl die Warpfeldschätzung als auch die Anwendung. Es ist in SPM und AIR enthalten.

Auf der anderen Seite sind Homöomorphismen und Diffeomorphismen, die die Struktur durch den Transport glatter Untermannigfaltigkeiten erhalten, die Grundlage mehrerer hochmoderner Ansätze zur räumlichen Normalisierung. Da Diffeomorphismen nicht additiv sind, obwohl sie eine Gruppe bilden, sondern eine Gruppe nach dem Gesetz der Funktionszusammensetzung, werden Strömungen verwendet, um Diffeomorphismen in der Spitzenwissenschaft der computergestützten Anatomie zu konstruieren. Infolgedessen können riesige topologieerhaltende Verformungen durch Strömungen erzeugt werden, die die Ideen additiver Gruppen verallgemeinern und 1-1 und auf Transformationen bieten. Als primäres Berechnungswerkzeug zur Herstellung von Verbindungen zwischen Koordinatensystemen, die den geodätischen Strömungen entsprechen, die in der computergestützten Anatomie verwendet werden, sind LDDMM die Berechnungsmethoden der Wahl zur Generierung solcher Transformationen.

Mehrere Anwendungen, wie z. B. MRT Studio, können diffeomorphe Änderungen von Koordinaten durch diffeomorphes Mapping ermöglichen.

Das bildbasierte Matching von Intensitätsmustern oder -merkmalen steht im Mittelpunkt räumlicher Techniken. Herkömmliche Methoden zur manuellen Bildregistrierung, bei denen ein Bediener entsprechende Kontrollpunkte (CP) in Bildern auswählt, sind die Inspiration für mehrere der Merkmalsanpassungsalgorithmen. Iterative Methoden, wie z. B. RANSAC, können verwendet werden, um die Parameter eines bestimmten Transformationstyps (z. B. affin) für die Registrierung der Bilder sicher zu schätzen, wenn die Anzahl der Kontrollpunkte das Minimum überschreitet, das für die Erstellung des geeigneten Transformationsmodells erforderlich ist.

Frequenzbereichsalgorithmen, die in der Transformationsdomäne arbeiten, bestimmen die notwendigen Transformationsparameter für die Bildregistrierung. Solche Strategien sind nützlich, um elementare Änderungen wie Verschieben, Drehen und Skalieren auszuführen. Wenn der Phasenkorrelationsansatz auf zwei Fotos angewendet wird, wird ein drittes Bild mit einem einzelnen Peak erstellt. Dieser Peak zeigt sich dort, wo