Epipolare Geometrie: Erschließung der Tiefenwahrnehmung in der Computer Vision

Von Fouad Sabry

Was ist Epipolargeometrie?

Epipolare Geometrie ist die Geometrie des Stereosehens. Wenn zwei Kameras eine 3D-Szene aus zwei verschiedenen Positionen betrachten, gibt es eine Reihe geometrischer Beziehungen zwischen den 3D-Punkten und ihren Projektionen auf die 2D-Bilder, die zu Einschränkungen zwischen den Bildpunkten führen. Diese Beziehungen werden unter der Annahme abgeleitet, dass die Kameras durch das Lochkameramodell angenähert werden können.

Wie Sie davon profitieren

(I) Erkenntnisse und Validierungen zu den folgenden Themen:

Kapitel 1: Epipolare Geometrie

Kapitel 2: Optische Aberration

Kapitel 3: Brennweite

Kapitel 4: Kameraobjektiv

Kapitel 5: 3D-Projektion

Kapitel 6: Fluchtpunkt

Kapitel 7: Verzerrung (Optik)

Kapitel 8: Parallelprojektion

Kapitel 9: Kollinearität

Kapitel 10: Grundmatrix (Computer Vision)

(II) Beantwortung der häufigsten öffentlichen Fragen zur Epipolargeometrie.

(III) Beispiele aus der Praxis für die Verwendung der Epipolargeometrie in vielen Bereichen.

Für wen dieses Buch ist

Fachleute, Studenten und Doktoranden, Enthusiasten, Hobbyisten und diejenigen, die über das Grundwissen oder die Informationen für jede Art von Epipolargeometrie hinausgehen möchten.

• Sprache: Deutsch
• Herausgeber: Eine Milliarde Sachkundig [German]
• Erscheinungsdatum: 14. Mai 2024

Buchvorschau

Kapitel 1: Epipolare Geometrie

Die epipolare Geometrie ist die Geometrie hinter der dreidimensionalen Wahrnehmung. Es gibt eine Vielzahl von geometrischen Verbindungen zwischen den 3D-Punkten und ihren Projektionen auf die 2D-Bilder, die zu Einschränkungen zwischen den Bildpunkten führen, wenn zwei Kameras eine 3D-Szene von zwei verschiedenen Orten aus beobachten. Diese Verbindungen entstehen aus der Idee, dass die Kameras durch eine Lochkamera dargestellt werden können.

Zwei Lochkameras, die beide auf Punkt X fokussiert sind, sind im folgenden Diagramm dargestellt.

Mit echten Kameras liegt die Fokusebene hinter der Bildebene, Es entsteht ein Bild, das in Bezug auf den Brennpunkt des Objektivs symmetrisch ist.

Hier kann man sich jedoch eine Bildebene vor dem Brennpunkt der Kamera vorstellen (z.

optische Mitte des Objektivs, um ein Bild zu erzeugen, das nicht durch das Spiegelbild verzerrt wird.

OL und OR stellen die Symmetriezentren der beiden Kameraobjektive dar.

Die Brennpunkte beider Kameras werden durch das Symbol X gekennzeichnet.

Die Punkte xL und xR sind die Projektionen des Punktes X auf die Bildebenen.

Die 3D-Welt wird von jeder Kamera als 2D-Bild erfasst. Das Lochkameramodell beschreibt perfekt diese Umwandlung von drei Dimensionen in zwei, die als perspektivische Projektion bezeichnet wird. Es ist gängige Praxis, diesen Projektionsprozess mit Strahlen darzustellen, die die Kamera verlassen und in ihrer Mitte fokussieren. Ein Bildpunkt wird durch jeden Strahl dargestellt.

Da die Objektive der Kameras unterschiedliche optische Zentren haben, gibt es einen einzigen Punkt in der Bildebene der anderen Kamera, auf den jeder Brennpunkt projiziert wird.

Diese beiden Scheitelpunkte des Bildes, die mit eL und eR bezeichnet werden, Epipole, werden oft als Epipolarpunkte bezeichnet.

Beide Epipole eL und eR in ihren jeweiligen Bildebenen und die beiden optischen Zentren OL und OR liegen auf einer einzigen 3D-Linie.

Die Linie OL-X wird von der linken Kamera als Punkt gesehen, da sie direkt mit der optischen Mitte des Objektivs dieser Kamera übereinstimmt.

Diese Linie wird jedoch als Linie in der Bildebene der richtigen Kamera wahrgenommen.

Diese Linie (eR–xR) in der rechten Kamera wird als Epipolarlinie bezeichnet.

Symmetrisch wird die Linie OR-X von der rechten Kamera als Punkt und  von der linken Kamera als Epipolarlinie eL-xL  gesehen.

Die Lage des Punktes X im dreidimensionalen Raum bestimmt die Epipolarlinie, d.h.

wenn sich X verschiebt, Auf beiden Bildern wird eine Reihe von Epipolarlinien gezeichnet.

Da die 3D-Linie OL–X durch die optische Mitte der Objektiv-OL verläuft, muss die entsprechende Epipolarlinie im rechten Bild durch den Epipol eR verlaufen (und entsprechend für Epipolarlinien im linken Bild).

Der Epipolarpunkt ist der Ursprung aller Epipolarlinien in einem bestimmten Bild.

Da sich der Epipolarpunkt überall im Raum befinden kann, wird jede Linie, die durch ihn verläuft, als Epipolarlinie betrachtet.

Denken Sie als kontrastierendes Bild an die Beweise X, OL & OR, die eine Ebene bilden, die als Epipolarebene bezeichnet wird.

Die Epipolarlinien sind die Linien, die dort gebildet werden, wo die Epipolarebene auf die Bildebene jeder Kamera trifft.

Egal wo X ist, jede Epipolarebene und Epipolarlinie muss durch den Epipol verlaufen.

Aus der Kenntnis der relativen Positionen der beiden Kameras ergeben sich zwei entscheidende Erkenntnisse:

Nehmen wir an, der Projektionspunkt xL ist bekannt, und die Epipolarlinie eR–xR ist bekannt und der Punkt X projiziert in das rechte Bild, auf einen Punkt xR , der auf dieser bestimmten Epipolarlinie liegen muss.

Dies erfordert, dass entlang einer bekannten Epipolarlinie für jeden Punkt in einem Bild der entsprechende Punkt im anderen Bild angezeigt werden muss.

Dies stellt eine epipolare Einschränkung dar: Die Projektion von X auf der rechten Kameraebene xR muss in der Epipolarlinie eR–xR  enthalten sein.

Jedes X zum Beispiel.

X1, X2, X3 auf der OL-XL-Linie überprüfen diese Einschränkung.

Auf diese Weise können wir feststellen, ob zwei Punkte derselbe 3D-Punkt sind.

Die grundlegende oder wesentliche Matrix, die die beiden Kameras verbindet, kann auch epipolare Einschränkungen charakterisieren.

Wenn die Punkte xL und xR bekannt sind, sind auch ihre Projektionsstrahlen bekannt.

Die Projektionslinien müssen sich bei X kreuzen, wenn die beiden Bildpunkte denselben 3D-Punkt darstellen.

Da wir die Positionen dieser beiden Orientierungspunkte im Bild kennen, können wir sie verwenden, um X, die Verwendung von Dreiecken oder die Triangulation zu bestimmen.

Wenn die Bildebenen der beiden Kameras parallel zueinander sind, wird die epipolare Geometrie vereinfacht.

Hier fallen jedoch auch die Epipolarlinien zusammen (eL–XL = eR–XR).

Darüber hinaus verlaufen die Epipolarlinien parallel zur Linie OL-OR zwischen den Projektionszentren, und die horizontalen Achsen der beiden Bilder können in der Praxis ausgerichtet werden.

Das heißt, für jeden Punkt in einem einzelnen Bild müssen Sie nur horizontal scannen, um das Gegenstück im gegenüberliegenden Bild zu finden.

Wenn die Kameras nicht so eingerichtet werden können, können die Bildkoordinaten der Kameras so geändert werden, dass es so aussieht, als würden sie alle auf dieselbe Ebene zeigen.

Die Bildkorrektur bezieht sich auf dieses Verfahren.

Pushbroom-Kameras verwenden eine Sammlung von eindimensionalen CCDs, um einen durchgehenden Bildstreifen oder Bildteppich anstelle des zweidimensionalen CCD der herkömmlichen Rahmenkamera zu erstellen. Die epipolare Form dieses Sensors unterscheidet sich stark von der herkömmlicher Lochblendenprojektoren. Zunächst ist die Epipolarlinie des Schubbesensensors wie eine Hyperbel gekrümmt, anstatt gerade zu sein. Zweitens gibt es so etwas wie ein Paar epipolarer Kurven nicht.

{Ende Kapitel 1}

Kapitel 2: Optische Aberration

Aberration ist ein Merkmal optischer Systeme wie Linsen, das es ermöglicht, Licht über einen bestimmten Bereich des Raums zu streuen, anstatt auf einen einzigen Punkt fokussiert zu werden. Dieses Phänomen ist im Bereich der Optik bekannt.

1: Abbildung durch ein Objektiv mit chromatischer Aberration.

Darüber hinaus ein Objektiv mit geringerer chromatischer Aberration

Optische Systeme zur Bilderzeugung, die Aberrationen unterliegen, führen zur Erzeugung von Bildern, die nicht scharf sind. Hersteller optischer Instrumente sind verpflichtet, Anpassungen an ihren optischen Systemen vorzunehmen, um Aberrationen zu kompensieren.

Die Techniken der geometrischen Optik können verwendet werden, um eine Aberrationsanalyse durchzuführen. Einige der allgemeinen Eigenschaften von reflektierten und gebrochenen Strahlen werden in den Artikeln diskutiert, die sich mit Reflexion, Brechung und Kaustik befassen.

Reflexion von einem sphärischen Spiegel.

Reflektierte Strahlen (grün), die nicht auf den Brennpunkt gerichtet sind, werden durch einfallende Strahlen (rot) erzeugt, die von der Mitte des Spiegels weggerichtet sind.

F.

Aufgrund der sphärischen Aberration ist dies der Fall.

Ein ideales Objektiv würde Licht von jedem Punkt eines Objekts hindurchlassen und an einem einzigen Punkt in der Bildebene (oder allgemeiner der Bildoberfläche) konvergieren. Dies wäre der Fall, wenn das Objektiv perfekt wäre. Echte Linsen hingegen konzentrieren das Licht nicht genau auf einen einzigen Punkt, selbst wenn sie perfekt konstruiert sind. Aberrationen des Objektivs sind der Begriff, der verwendet wird, um diese Abweichungen von der idealisierten Leistung des Objektivs zu beschreiben.

Die beiden Kategorien von Aberrationen werden als monochromatische und chromatische Aberrationen bezeichnet. Wenn Licht reflektiert oder gebrochen wird, können monochromatische Aberrationen entstehen. Diese Aberrationen werden durch die Geometrie der Linse oder des Spiegels erzeugt und können bei jedem dieser beiden Prozesse auftreten. Der Name kommt von der Tatsache, dass sie auch bei monochromatischem Licht sichtbar sind.

Chromatische Aberrationen werden durch Dispersion verursacht, d. h. die Änderung des Brechungsindex einer Linse, die unabhängig von der Wellenlänge auftritt. Aufgrund der Dispersion werden unterschiedliche Wellenlängen des Lichts an verschiedenen Stellen an bestimmten Orten fokussiert. Die Verwendung von monochromatischem Licht führt nicht zum Auftreten einer chromatischen Aberration, weil.

In Bezug auf monochromatische Aberrationen sind die häufigsten:

Defokussierung

Sphärische Aberration

Koma

Astigmatismus

Halbbild-Krümmung

Bildverzerrung

Trotz der Tatsache, dass die Unschärfe theoretisch die niedrigste der optischen Aberrationen ist, wird sie typischerweise nicht als Linsenaberration angesehen. Dies liegt daran, dass es durch Verschieben des Objektivs (oder der Bildebene) entzerrt werden kann, um die Bildebene näher an den optischen Fokus des Objektivs zu bringen.

Diese Aberrationen sind nicht die einzigen Faktoren, die dazu führen können, dass sich der Schwerpunkt verschiebt; Die Kolben- und Kippeffekte sind weitere Beispiele für solche Effekte. Wenn eine ansonsten perfekte Wellenfront durch Kolben und Neigung verändert wird, entsteht immer noch ein makelloses, aberrationsfreies Bild. Der einzige