Bildbasierte Modellierung und Rendering: Erforschung des visuellen Realismus: Techniken in der Computer Vision

Von Fouad Sabry

Was ist bildbasiertes Modellieren und Rendern?

In der Computergrafik und Computer Vision basieren bildbasierte Modellierungs- und Rendering-Methoden (IBMR) auf einer Reihe zweidimensionaler Bilder einer Szene, um ein dreidimensionales Modell zu generieren und dann einige neuartige Ansichten dieser Szene zu rendern.

Wie Sie davon profitieren werden

(I) Einblicke, und Validierungen zu folgenden Themen:

Kapitel 1: Bildbasierte Modellierung und Rendering

Kapitel 2: 2D-Computergrafik

Kapitel 3: 3D-Projektion

Kapitel 4: Lichtfeld

Kapitel 5: Ansichtssynthese

Kapitel 6: Autoencoder

Kapitel 7: Strukturtensor

Kapitel 8: Segmentierungsbasierte Objektkategorisierung

Kapitel 9: 2D-zu-3D-Konvertierung

Kapitel 10: Variationaler Autoencoder

(II) Beantwortung der öffentlichen Frage Fragen zur bildbasierten Modellierung und zum Rendering.

(III) Beispiele aus der Praxis für den Einsatz von bildbasierter Modellierung und Rendering in vielen Bereichen.

Für wen dieses Buch gedacht ist

Profis, Studenten und Doktoranden, Enthusiasten, Hobbyisten und diejenigen, die über grundlegende Kenntnisse oder Informationen für jede Art von bildbasierter Modellierung und Rendering hinausgehen möchten.

 

 

• Sprache: Deutsch
• Herausgeber: Eine Milliarde Sachkundig [German]
• Erscheinungsdatum: 5. Mai 2024

Buchvorschau

Kapitel 1: Bildbasierte Modellierung und Rendering

In der Computergrafik und im maschinellen Sehen verwenden bildbasierte Modellierungs- und Rendering-Techniken (IBMR) eine Sammlung zweidimensionaler Fotografien einer Szene, um ein dreidimensionales Modell zu erstellen und dann einige innovative Ansichten dieser Szene zu rendern.

Mit der herkömmlichen Methode der Computergrafik wurde ein dreidimensionales geometrisches Modell erstellt und auf ein zweidimensionales Bild projiziert. Im Gegensatz dazu geht es bei Computer Vision in erster Linie darum, Merkmale (Kanten, Gesichter usw.) aus einem gegebenen Bild zu erkennen, zu gruppieren und zu extrahieren und dann zu versuchen, sie als dreidimensionale Informationen zu interpretieren. Bildbasiertes Modellieren und Rendern ermöglicht die Verwendung mehrerer zweidimensionaler Fotos, um innovative zweidimensionale Bilder zu erzeugen, ohne dass eine manuelle Modellierung erforderlich ist.

Anstatt nur das physikalische Modell eines Festkörpers zu bewerten, legen IBMR-Ansätze in der Regel mehr Wert auf die Lichtmodellierung.

IBMR basiert auf der plenoptischen Beleuchtungsfunktion, die eine Parametrisierung des Lichtfeldes darstellt.

Die plenoptische Funktion beschreibt die Lichtstrahlen, die in einem bestimmten Volumen enthalten sind.

Er kann mit sieben Dimensionen dargestellt werden: Ein Strahl wird durch seine Position (x,y,z) , seine Orientierung (\theta ,\phi ) , seine Wellenlänge (\lambda ) und seine Zeit (t) definiert: P(x,y,z,\theta ,\phi ,\lambda ,t) .

IBMR-Ansätze versuchen, die plenoptische Funktion zu approximieren, um aus einem anderen zweidimensionalen Bildsatz einen neuartigen Satz zweidimensionaler Bilder zu erzeugen.

Angesichts der hohen Dimensionalität der Funktion schränken praktische Techniken die Parameter ein, um diese Zahl zu senken (in der Regel auf 2 bis 4).

Beim Ansichts-Morphing wird ein Bildübergang erzeugt.

Bei der Panorama-Bildgebung werden Panoramen erstellt, indem einzelne Standbilder zu Mosaiken kombiniert werden.

Lumigraph ist abhängig von einer dichten Abtastung einer Szene.

Beim Space Carving wird ein dreidimensionales Modell erstellt, das auf einer Fotokonsistenzanalyse basiert.

{Ende Kapitel 1}

Kapitel 2: 2D-Computergrafik

Das Erzeugen digitaler Bilder auf einem Computer, in der Regel aus zweidimensionalen Modellen (z. B. geometrische 2D-Modelle, Text und digitale Bilder) und die Verwendung von Methoden, die auf diese Art von Modellen zugeschnitten sind, wird als 2D-Computergrafik bezeichnet. Gemeint sind entweder die Modelle selbst oder der Bereich der Informatik, in dem sie enthalten sind.

Typografie, Kartografie, technisches Zeichnen, Werbung usw. sind Beispiele für Anwendungen, die auf der Grundlage der 2D-Computergrafik aufbauen. Zweidimensionale Modelle werden in diesen Fällen der dreidimensionalen Computergrafik vorgezogen, da sie eine direktere Kontrolle über das Bild ermöglichen. Dies liegt daran, dass das zweidimensionale Bild mehr als nur eine Darstellung eines realen Objekts ist. Es hat auch einen zusätzlichen semantischen Wert (dessen Ansatz eher der Fotografie als der Typografie ähnelt).

Dokumentbeschreibungen, die auf 2D-Computergrafiktechniken basieren, können in vielen Bereichen, einschließlich Desktop-Publishing, Technik und Wirtschaft, deutlich kleiner sein als das entsprechende digitale Bild. Da diese Darstellung in unterschiedlichen Auflösungen gerendert werden kann, um eine Vielzahl von Ausgabegeräten aufzunehmen, ist sie auch vielseitiger. Aus diesem Grund werden häufig 2D-Grafikdateien für die Archivierung und den Transport von Dokumenten und Bildern verwendet.

Vektorgrafikgeräte aus den 1950er Jahren ebneten den Weg für die erste 2D-Computergrafik. In den folgenden Jahrzehnten wurden rasterbasierte Geräte zur Norm. Zwei der wichtigsten Neuerungen in diesem Bereich sind die PostScript-Sprache und das X-Window-System-Protokoll.

Kombinationen aus geometrischen Modellen (auch als Vektorgrafiken bezeichnet), digitalen Bildern (auch als Rastergrafiken bezeichnet), zu setzendem Text (beschrieben durch Inhalt, Schriftstil und -größe, Farbe, Position und Ausrichtung), mathematischen Funktionen und Gleichungen und anderen Arten von Informationen sind in 2D-Grafikmodellen möglich. Zweidimensionale geometrische Transformationen, wie z. B. Verschiebung, Drehung und Skalierung, ermöglichen eine einfache und präzise Manipulation dieser Teile. Ein Objekt mit einer Self-Rendering-Methode, einem Verfahren, das Bildpixeln willkürlich Farben zuweist, beschreibt das Bild in objektorientierten Grafiken. In objektorientierten Programmierparadigmen werden komplexe Modelle aus Teilmodellen konstruiert.

Die Prinzipien der euklidischen Geometrie, In der Geometrie bewegt eine Translation jeden Punkt um eine bestimmte Entfernung in eine Richtung.

Eine Art von starrer Bewegung ist die Translation; Andere Arten sind Rotation und Reflexion.

Es ist auch möglich, sich eine Verschiebung als den Prozess vorzustellen, bei dem jedem Punkt ein konstanter Vektor hinzugefügt wird, oder als ob der Ursprung des Koordinatensystems verschoben würde.

Ein Übersetzungsoperator ist ein Operator T_\mathbf{\delta} , der T_\mathbf{\delta} f(\mathbf{v}) = f(\mathbf{v}+\mathbf{\delta}).

Wenn v ein konstanter Vektor ist, dann funktioniert die Übersetzung Tv als Tv(p) = p + v.

Theoretisch gilt: Wenn T eine Übersetzung ist, wenn A eine Teilmenge und T eine Funktion ist, dann ist die Übersetzung von A durch T das Bild von A unter T.

Die Übersetzung von A von Tv wird oft A + v geschrieben.

Jede Übersetzung in einem euklidischen Raum ist auch eine Isometrie. Die Menge aller Translationen wird als Translationsgruppe T bezeichnet und ist eine gewöhnliche Untergruppe der euklidischen Gruppe E, die isomorph zum Raum selbst ist (n ). Die orthogonale Gruppe O ist ein Isomorphismus der Quotientengruppe E(n) durch T. (n ):

E(n ) / T ≅ O(n ).

Im Gegensatz zu einer linearen Transformation handelt es sich bei einer Translation um eine affine Transformation. Der Translationsoperator wird in der Regel durch eine Matrix dargestellt, wodurch er linear wird, wenn homogene Koordinaten verwendet werden.

Wir schreiben also den 3-dimensionalen Vektor w = (wx, wy, wz) mit 4 homogenen Koordinaten als w = (wx, wy, wz, 1).

Jeder homogene Vektor p (in homogenen Koordinaten) muss mit dieser Translationsmatrix multipliziert werden, wenn ein Objekt durch einen Vektor v übersetzt werden soll:

T_{\mathbf{v}} = \begin{bmatrix} 1 & 0 & 0 & v_x \\ 0 & 1 & 0 & v_y \\ 0 & 0 & 1 & v_z \\ 0 & 0 & 0 & 1 \end{bmatrix}

Das Produkt der Multiplikation ist wie in der folgenden Tabelle dargestellt:

T_{\mathbf{v}} \mathbf{p} = \begin{bmatrix} 1 & 0 & 0 & v_x \\ 0 & 1 & 0 & v_y\\ 0 & 0 & 1 & v_z\\ 0 & 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} p_x \\ p_y \\ p_z \\ 1 \end{bmatrix} = \begin{bmatrix} p_x + v_x \\ p_y + v_y \\ p_z + v_z \\ 1 \end{bmatrix} = \mathbf{p} + \mathbf{v}

Um die Umkehrung einer Translationsmatrix zu finden, drehen Sie einfach die Richtung des Vektors um:

T^{-1}_{\mathbf{v}} = T_{-\mathbf{v}} . \!

Ebenso ergibt die Multiplikation der Vektoren das Produkt zweier Translationsmatrizen:

T_{\mathbf{u}}T_{\mathbf{v}} = T_{\mathbf{u}+\mathbf{v}} . \!

Die Multiplikation