Optischer Fluss: Erforschung dynamischer visueller Muster in der Computer Vision

Von Fouad Sabry

Was ist optischer Fluss

Optischer Fluss oder optischer Fluss ist das Muster der scheinbaren Bewegung von Objekten, Oberflächen und Kanten in einer visuellen Szene, die durch die relative Bewegung zwischen einem verursacht wird Beobachter und eine Szene. Der optische Fluss kann auch als die Verteilung der scheinbaren Bewegungsgeschwindigkeiten von Helligkeitsmustern in einem Bild definiert werden.

Wie Sie profitieren

(I) Einblicke und Validierungen zu den folgenden Themen:

Kapitel 1: Optischer Fluss

Kapitel 2: Kleinste Quadrate

Kapitel 3: Fourier-Optik

Kapitel 4: Bildsegmentierung

Kapitel 5: Lucas-Kanade-Methode

Kapitel 6: Horn-Schunck-Methode

Kapitel 7: Digitale Bildkorrelation und -verfolgung

Kapitel 8: 3D-Rekonstruktion

Kapitel 9: Visuelle Odometrie

Kapitel 10: Harris-Eckendetektor

(II) Beantwortung der öffentlichen Frage Fragen zum optischen Fluss.

(III) Beispiele aus der Praxis für die Verwendung des optischen Flusses in vielen Bereichen.

Für wen dieses Buch gedacht ist

Profis, Studenten und Doktoranden, Enthusiasten, Hobbyisten und diejenigen, die über das Grundwissen oder die Informationen für jede Art von optischem Fluss hinausgehen möchten.

• Sprache: Deutsch
• Herausgeber: Eine Milliarde Sachkundig [German]
• Erscheinungsdatum: 13. Mai 2024

Buchvorschau

Kapitel 1: Optischer Fluss

Wenn sich ein Beobachter relativ zu einer Szene bewegt, scheinen sich die beobachteten Objekte, Oberflächen und Kanten in einem bestimmten Muster zu bewegen, das als optischer Fluss oder optischer Fluss bezeichnet wird.

In den 1940er Jahren führte der amerikanische Psychologe James J. Gibson das Konzept des optischen Flusses ein, um den visuellen Reiz zu beschreiben, der Tieren in Bewegung gegeben wird.

Geordnete Bildsequenzen können verwendet werden, um Bewegungen in Form von kontinuierlichen Bildgeschwindigkeiten oder einzelnen Bildverschiebungen abzuschätzen. Um die Wirksamkeit verschiedener optischer Flussmethoden zu vergleichen, präsentieren John L. Barron, David J. Fleet und Steven Beauchemin eine umfassende Analyse. Die Präzision und Dichte der Messungen werden hervorgehoben.

Die optischen Flussverfahren versuchen, die Bewegung zwischen zwei Bildbildern zu berechnen, die zeitweise t und t+\Delta t an jeder Voxelposition aufgenommen werden.

Differentielle Techniken werden so genannt, weil sie das Bildsignal mit lokalen Funktionen unter Verwendung der Taylor-Reihe approximieren; das heißt, um dies zu tun, nehmen sie partielle Ableitungen in Raum und Zeit.

Für einen (2D + t)-dimensionalen Fall (3D- oder n-D-Fälle sind ähnlich) hat sich ein Voxel an einem Ort (x,y,t) mit Intensität I(x,y,t) um \Delta x und \Delta y zwischen den beiden Bildrahmen bewegt, und die folgende Begrenzung der Fluktuation der Lichtintensität kann angegeben werden: \Delta t

I(x,y,t) = I(x+\Delta x, y + \Delta y, t + \Delta t)

Unter der Annahme, dass die Verschiebung vernachlässigbar ist, kann die Bildbeschränkung bei I(x,y,t) der Taylor-Serie entwickelt werden, um Folgendes zu erhalten:

{\displaystyle I(x+\Delta x,y+\Delta y,t+\Delta t)=I(x,y,t)+{\frac {\partial I}{\partial x}}\,\Delta x+{\frac {\partial I}{\partial y}}\,\Delta y+{\frac {\partial I}{\partial t}}\,\Delta t+{}}

Begriffe höherer Ordnung

Da eine Linearisierung durch Abschneiden der Terme höherer Ordnung erreicht wird, folgt Folgendes:

\frac{\partial I}{\partial x}\Delta x+\frac{\partial I}{\partial y}\Delta y+\frac{\partial I}{\partial t}\Delta t = 0

oder, dividiert durch \Delta t ,

{\displaystyle {\frac {\partial I}{\partial x}}{\frac {\Delta x}{\Delta t}}+{\frac {\partial I}{\partial y}}{\frac {\Delta y}{\Delta t}}+{\frac {\partial I}{\partial t}}{\frac {\Delta t}{\Delta t}}=0}

was zu

\frac{\partial I}{\partial x}V_x+\frac{\partial I}{\partial y}V_y+\frac{\partial I}{\partial t} = 0

wobei V_x,V_y die x y und-Komponenten der Geschwindigkeit oder des optischen Flusses von I(x,y,t) und \tfrac{\partial I}{\partial x} sind und \tfrac{\partial I}{\partial y} die Ableitungen des Bildes in \tfrac{\partial I}{\partial t} den entsprechenden Richtungen sind. (x,y,t)

I_{x} und I_y I_t kann im Folgenden für die Ableitungen geschrieben werden.

So:

I_xV_x+I_yV_y=-I_t

oder

{\displaystyle \nabla I\cdot {\vec {V}}=-I_{t}}

Da in dieser Gleichung zwei Variablen fehlen, ist sie unlösbar. Das Aperturproblem ist ein häufiges Problem bei optischen Flussalgorithmen. Der optische Fluss kann mit einem anderen Satz von Gleichungen berechnet werden, die durch eine zusätzliche Einschränkung bestimmt werden. Die Schätzung des tatsächlichen Durchflusses erfordert zusätzliche Annahmen, die von allen optischen Flussmethoden getroffen werden.

Phasenkorrelation - die Umkehrung des Cross-Power-Spektrums in normalisierter Form

Die Minimierung der Summe der quadrierten Differenzen oder der Summe der absoluten Differenzen oder die Optimierung der normalisierten Kreuzkorrelation sind Beispiele für blockbasierte Methoden.

Partielle Ableitungen des Bildsignals und/oder des gesuchten Strömungsfeldes sowie partielle Ableitungen höherer Ordnung können in differentiellen Methoden zur Abschätzung des optischen Flusses verwendet werden:

Der Lucas-Kanade-Ansatz, der gepatchte Bilder und ein affines Modell des Strömungsfeldes verwendet, Die Horn-Schunck-Technik beinhaltet die Maximierung eines Funktionals, das Residuen aus einer Helligkeitskonstanzbedingung und einem spezifischen Regularisierungsterm berücksichtigt, der die gewünschte Glätte des Strömungsfeldes charakterisiert.

Die Buxton-Buxton-Technik basiert auf einem Kantenbewegungsmodell, das auf eine Reihe von Bildern angewendet wird.

Grober optischer Fluss durch Korrelation, wie bei der Black-Jepson-Methode

Verschiedene Modifikationen und Erweiterungen von Horn-Schunck, die zusätzliche Datenterme und Glättungsterme verwenden, bilden die breitere Kategorie allgemeiner Variationsmethoden.

Mit diskreten Optimierungstechniken quantifizieren wir zunächst den Suchraum und gehen dann den Bildabgleich an, indem wir jedes Pixel so beschriften, dass die resultierende Verformung den Abstand zwischen dem Quell- und dem Zielbild minimiert. KITTI und Sintel sind zwei weitere weit verbreitete Benchmark-Datensätze.

Eines der wichtigsten Forschungsgebiete im Bereich des optischen Flusses ist die Bewegungsschätzung und Videokomprimierung. Trotz seiner oberflächlichen Ähnlichkeit mit einem dichten Bewegungsfeld, das aus Bewegungsschätzungstechniken abgeleitet wurde, ist der optische Fluss nicht nur die Untersuchung der Bestimmung des optischen Flussfeldes, sondern auch seiner Verwendung bei der Schätzung der 3D-Natur und -Struktur der Szene sowie der 3D-Bewegung von Objekten und des Beobachters relativ zur Szene.  wobei sich die überwiegende Mehrheit dieser Schätzungen auf das Bild selbst stützt. Jacobi-Matrix.

Stellen Sie sich eine Sequenz mit fünf Bildern vor, in der ein Ball von links unten nach rechts oben auf dem Bildschirm fliegt. Mit Hilfe von Bewegungsschätzungsmethoden können wir ableiten, dass sich der Ball in vertikaler und lateraler Richtung bewegt, indem wir die Frames in der Sequenz analysieren. Die Sequenz wurde so ausführlich beschrieben, wie es für die Videokomprimierung (z. B. MPEG) erforderlich ist. In der industriellen Bildverarbeitung ist es jedoch eine wichtige, aber unbekannte Information zu wissen, ob sich der Ball oder der Beobachter nach rechts bewegt. Selbst wenn in allen fünf Bildern ein fester, gemusterter Hintergrund vorhanden wäre, könnten wir immer noch nicht mit Sicherheit sagen, dass sich der Ball in eine rechte Richtung bewegt, da das Muster unendlich weit von der Kamera entfernt sein kann.

Es gibt eine Reihe von optischen Durchflusssensoren. Ein Bildsensorchip in Verbindung mit einem Prozessor, auf dem ein optischer Flussalgorithmus läuft, ist ein mögliches Setup. Ein Vision-Chip ist ein alternativer Aufbau; Es handelt sich um einen integrierten Schaltkreis, der sowohl den Bildsensor als auch den Prozessor auf demselben Chip enthält. Eine optische Maus mit einem generischen optischen Maussensor ist ein gutes Beispiel für diesen Gerätetyp. Um eine schnelle Berechnung des optischen Flusses bei geringem Stromverbrauch zu erreichen, wird die Verarbeitungsschaltung manchmal mit analogen oder Mixed-Signal-Schaltungen implementiert.

Optische Flusssensoren könnten von den jüngsten Entwicklungen in der neuromorphen Technik profitieren, die zur Herstellung von Schaltkreisen verwendet werden, die auf den optischen Fluss reagieren. Die Inspiration für diese Schaltkreise könnte in biologischen neuronalen Schaltkreisen gefunden werden, die auch auf optischen Fluss reagieren.

Als primäre Sensorkomponente zur Verfolgung von Mausbewegungen über eine Oberfläche finden optische Flusssensoren eine weit verbreitete Anwendung in optischen Computermäusen.

In Robotikanwendungen werden optische Durchflusssensoren typischerweise verwendet, um visuelle Bewegungen oder Relativbewegungen zwischen dem Roboter und anderen Objekten in seiner unmittelbaren Umgebung zu messen. Ein weiteres aktives Forschungsgebiet ist die Integration von optischen Flusssensoren in unbemannte Luftfahrzeuge (UAVs) zur Aufrechterhaltung der Flugstabilität und zur Navigation um Hindernisse herum.

{Ende Kapitel 1}

Kapitel 2: Kleinste Quadrate

Die Methode der kleinsten Quadrate ist ein Standardansatz in der Regressionsanalyse, der verwendet wird, um die Lösung von überbestimmten Systemen (Gleichungssätzen, in denen es mehr Gleichungen als Unbekannte gibt) zu approximieren. Dies wird erreicht, indem die Summe der Quadrate der Residuen, die in den Ergebnissen jeder einzelnen Gleichung gebildet werden, minimiert wird. Ein Residuum ist die Differenz zwischen einem beobachteten Wert und dem angepassten Wert, der von einem Modell bereitgestellt wird.

Die bedeutendste Anwendung findet sich im Bereich der Datenanpassung. Wenn das Problem erhebliche Unsicherheiten in der unabhängigen Variablen (der x-Variablen) aufweist, haben einfache Regressions- und Kleinste-Quadrate-Methoden Probleme; In solchen Fällen kann die für die Anpassung von Fehler-in-Variablen-Modellen erforderliche Methodik anstelle der Methode für kleinste Quadrate in Betracht gezogen werden. Wenn das Problem erhebliche Unsicherheiten in der unabhängigen Variablen (der x-Variablen) aufweist, haben einfache Regressions- und Kleinste-Quadrate-Methoden Probleme.

Es gibt zwei Arten von Problemen, die unter die Überschrift der kleinsten Quadrate fallen: lineare oder gewöhnliche kleinste Quadrate und nichtlineare kleinste Quadrate. Die Unterscheidung zwischen den beiden Typen basiert darauf, ob die Residuen in allen Unbekannten linear sind oder nicht. In der statistischen Regressionsanalyse wird eines der zu lösenden Probleme als lineares Problem der kleinsten Quadrate bezeichnet und hat eine geschlossene Lösung. Die iterative Verfeinerungsmethode wird häufig verwendet, um das nichtlineare Problem zu lösen. Bei jeder Iteration wird das System annähernd nach einem linearen Modell modelliert, so dass die grundlegende Berechnung für beide Szenarien gleich ist.

Die Varianz in einer Vorhersage der abhängigen Variablen als Funktion der unabhängigen Variablen und die Abweichungen von der angepassten Kurve werden beide durch polynomiale kleinste Quadrate beschrieben.

Wenn die Beobachtungen aus einer Exponentialfamilie stammen, deren Identität als natürliche ausreichende Statistik und milde Bedingungen erfüllt sind (z. B. für Normal-, Exponential-, Poisson- und Binomialverteilungen), sind standardisierte Schätzungen der kleinsten Quadrate und