Aktive Kontur: Weiterentwicklung der Computer Vision mit aktiven Konturtechniken

Von Fouad Sabry

Was ist Aktive Kontur 

Das Active Contour-Modell, das oft als Schlangen bezeichnet wird, ist ein Framework im Bereich Computer Vision, das ursprünglich von Michael Kass eingeführt wurde , Andrew Witkin und Demetri Terzopoulos. Sein Zweck besteht darin, ein Objekt aus einem zweidimensionalen Bild zu skizzieren, das möglicherweise Rauschen enthält. Objektverfolgung, Formerkennung, Segmentierung, Kantenerkennung und Stereo-Matching sind nur einige der Anwendungen, die Schlangen in großem Umfang nutzen. Das Schlangenmodell wird im Bereich Computer Vision immer beliebter.

Wie Sie davon profitieren

(I) Einblicke und Validierungen zu den folgenden Themen :

Kapitel 1: Aktives Konturmodell

Kapitel 2: Verallgemeinerter Satz von Stokes

Kapitel 3: Potenzieller Fluss

Kapitel 4: Del

Kapitel 5: Lagrange-Multiplikator

Kapitel 6: Variationsrechnung

Kapitel 7: Laplace-Operator

Kapitel 8: Greensche Funktion

Kapitel 9: Kovariante Ableitung

Kapitel 10: Tensorrechnung

(II) Beantwortung der häufigsten öffentlichen Fragen zur aktiven Kontur.

( III) Beispiele aus der Praxis für den Einsatz von Active Contour in vielen Bereichen.

Für wen dieses Buch gedacht ist

Profis, Studenten und Doktoranden, Enthusiasten, Bastler und diejenigen, die über Grundkenntnisse oder Informationen für jede Art von Active Contour hinausgehen möchten.

 

 

• Sprache: Deutsch
• Herausgeber: Eine Milliarde Sachkundig [German]
• Erscheinungsdatum: 30. Apr. 2024

Buchvorschau

Kapitel 1: Aktives Konturmodell

Um die Kontur eines Objekts aus einem 2D-Bild zu extrahieren, das möglicherweise mit Rauschen verunreinigt ist, entwickelten die Computer-Vision-Forscher Michael Kass, Andrew Witkin und Demetri Terzopoulos das aktive Konturmodell, das oft als Schlangen bezeichnet wird. Computer-Vision-Anwendungen wie Objektverfolgung, Formerkennung, Segmentierung, Kantenerkennung und Stereoabgleich machen ausgiebigen Gebrauch vom Schlangenmodell.

Eine Schlange ist ein verformbarer Spline, der seine Energie minimiert, während er durch Zwangs- und Bildkräfte entlang von Objektumrissen und inneren Kräften gedrückt und gezogen wird, die eine weitere Verformung verhindern. Die Anpassung eines verformbaren Modells an ein Bild durch Minimierung der Energie kann als allgemeine Strategie betrachtet werden, und Schlangen können als ein spezifischer Fall davon angesehen werden. Das aktive Formmodell ist eine diskrete Darstellung dieser Strategie in zwei Dimensionen. Es verwendet das Punktverteilungsmodell, um die Formen, die verwendet werden können, auf diejenigen in einer bestimmten Domäne zu beschränken, die wiederum aus einem Trainingssatz gelernt wird.

Da die Verwendung von Schlangen zum Entdecken von Konturen auf Fotos voraussetzt, dass die beabsichtigte Konturform im Voraus bekannt ist, ist dies keine vollständige Lösung des Problems. Stattdessen verlassen sie sich auf den Input von außen, sei es vom Benutzer, ein externer Bildverständnisprozess oder auch nur benachbarte Bilddaten in Zeit oder Ort.

Bildgrenzen werden in der Computer Vision durch Konturmodelle beschrieben. Schlangen zeichnen sich zum Beispiel durch Herausforderungen aus, bei denen die Grenzform grob verstanden wird. Da es sich um ein flexibles Modell handelt, sind Schlangen widerstandsfähig gegen Variationen und Rauschen beim Stereo-Matching und Motion-Tracking. Durch das Weglassen von Randinformationen ist der Ansatz auch in der Lage, illusorische Konturen im Bild zu lokalisieren.

Die Verwendung von Schlangen anstelle herkömmlicher Methoden zur Merkmalsextraktion bietet viele Vorteile:

Sie suchen autonom und auf unterschiedliche Weise nach dem Ground Zero-Zustand.

Die Schlange wird intuitiv von visuellen Einflüssen aus der Außenwelt beeinflusst.

Die Einführung der Skalenempfindlichkeit in die Bildenergiefunktion durch die Verwendung der Gaußschen Glättung.

Sie können sie verwenden, um sich bewegende Elemente im Auge zu behalten.

Die Hauptprobleme bei normalen Schlangen sind:

Aufgrund ihrer Anfälligkeit für lokale Minimazustände sind simulierte Annealing-Methoden nützlich, um unerwünschte Ergebnisse zu vermeiden.

Bei der Energieminimierung entlang der gesamten Kontur werden oft kleine Details außer Acht gelassen.

Der Erfolg der Konvergenzpolitik entscheidet über ihre Präzision.

Eine einfache elastische Schlange ist definiert durch eine Menge von n Punkten {\mathbf v}_{i} für {\displaystyle i=0,\ldots ,n-1} , den internen elastischen Energieterm {\displaystyle E_{\text{internal}}} und den äußeren kantenbasierten Energieterm {\displaystyle E_{\text{external}}} .

Der innere Energieterm ist dazu da, um zu verhindern, dass die Schlange dauerhaft deformiert wird. Die Funktion des äußeren Energieterms besteht darin, den Grad zu regulieren, in dem die Kontur über das Bild gelegt wird.

Die externe Energie ist in der Regel eine Kombination aus den Kräften, die durch das Bild selbst entstehen {\displaystyle E_{\text{image}}} , und den vom Benutzer eingeleiteten Zwangskräften {\displaystyle E_{\text{con}}}

Wenn wir die inneren und äußeren Energien der Schlange addieren, erhalten wir ihre Energiefunktion.

{\displaystyle E_{\text{snake}}^{*}=\int \limits _{0}^{1}E_{\text{snake}}(\mathbf {v} (s))\,ds=\int \limits _{0}^{1}(E_{\text{internal}}(\mathbf {v} (s))+E_{\text{image}}(\mathbf {v} (s))+E_{\text{con}}(\mathbf {v} (s)))\,ds}

Die innere Energie der Schlange setzt sich aus der Kontinuität der Kontur {\displaystyle E_{\text{cont}}} und der Glätte der Kontur {\displaystyle E_{\text{curv}}} zusammen.

{\displaystyle E_{\text{internal}}=E_{\text{cont}}+E_{\text{curv}}}

Sie können dies wie folgt ausführen:

{\displaystyle E_{\text{internal}}={\frac {1}{2}}(\alpha \,\!(s)\left|\mathbf {v} _{s}(s)\right\vert ^{2})+{\frac {1}{2}}(\beta \,\!(s)\left|\mathbf {v} _{ss}(s)\right\vert ^{2})={\frac {1}{2}}{\bigg (}\alpha \,\!(s)\left\|{\frac {d{\bar {v}}}{ds}}(s)\right\Vert ^{2}+\beta \,\!(s)\left\|{\frac {d^{2}{\bar {v}}}{ds^{2}}}(s)\right\Vert ^{2}{\bigg )}}

wobei und \alpha (s) \beta (s) benutzerdefinierte Gewichte sind; Diese bestimmen, wie viel Gewicht der Dehnung und Krümmung der Schlange durch die interne Energiefunktion gegeben wird, und regulieren den Grad, in dem die Form der Schlange eingeschränkt ist.

In der Praxis bestraft eine große Gewichtung \alpha (s) für den Kontinuitätsterm Änderungen der Abstände zwischen Punkten in der Kontur.

Eine große Gewichtung \beta (s) für den Glättungsterm bestraft Schwingungen in der Kontur und bewirkt, dass die Kontur wie eine dünne Platte wirkt.

Das Energieniveau in einem Bild hängt mit seinen spezifischen Eigenschaften zusammen. Dies ist ein beliebter Ort, um Optimierungen an abgeleiteten Strategien vorzunehmen. Es gibt eine Vielzahl von Möglichkeiten, sowohl Bildmerkmale als auch ganze Bilder zu verarbeiten.

Für ein Bild I(x,y) , Linien, Kanten und eine Finalität, die im Bild vorhanden ist, ist das Gesamtmodell für die Energie aus dem Bild

{\displaystyle E_{\text{image}}=w_{\text{line}}E_{\text{line}}+w_{\text{edge}}E_{\text{edge}}+w_{\text{term}}E_{\text{term}},}

wobei {\displaystyle w_{\text{line}}} , {\displaystyle w_{\text{edge}}}   , {\displaystyle w_{\text{term}}} Gewichtungen dieser hervorstechenden Merkmale sind.

Wenn Sie die Gewichtung eines auffälligen Elements erhöhen, hat dies einen größeren Einfluss auf die Gesamtstärke des Bildes.

Es ist möglich, die Intensität des Bildes oder das Linienfunktional als

{\displaystyle E_{\text{line}}=I(x,y)}

Das Vorzeichen von {\displaystyle w_{\text{line}}} bestimmt, ob die Linie von dunklen oder hellen Linien angezogen wird.

Die Linienfunktion wird ausgeblendet, bis das Bild geglättet oder das Rauschen reduziert wird.

{\displaystyle E_{\text{line}}=\operatorname {filter} (I(x,y))}

Der Farbverlauf des Bildes wird als Kantenfunktional verwendet. Ein Beispiel dafür in der Praxis ist

{\displaystyle E_{\text{edge}}=-\left|\nabla I(x,y)\right\vert ^{2}.}

Es ist möglich, dass eine Schlange fälschlicherweise auf ein lokales Minimum konvergiert, wenn sie weit von der Kontur des Zielobjekts entfernt beginnt. Um diese lokalen Mindestwerte zu umgehen, können wir die Skalierungsraumfortsetzung anwenden. Zu diesem Zweck wird ein Unschärfefilter für das Bild verwendet, wobei der Grad der Unschärfe abnimmt, wenn die Berechnung die Passform der Schlange weiter verbessert. Die Skalenraumfortführung wird im Energiefunktional zum Ertrag verwendet

{\displaystyle E_{\text{edge}}=-\left|G_{\sigma }\cdot \nabla ^{2}I\right\vert ^{2}}

wobei {\displaystyle G_{\sigma }} ein Gauß-Operator mit Standardabweichung ist \sigma .

Die Minima dieser Funktion liegen auf deren Nulldurchgänge, die {\displaystyle G_{\sigma }\,\nabla ^{2}I} Kanten gemäß der Marr-Hildreth-Theorie definieren.

Es ist möglich, Bildecken und -kanten zu identifizieren, indem die Krümmung horizontaler und vertikaler Linien in einem teilweise geglätteten Bild gemessen wird.

Wenn man diese Strategie anwendet, wird C(x,y) das Bild geglättet durch

{\displaystyle C(x,y)=G_{\sigma }\cdot I(x,y)}

mit Steigungswinkel

{\displaystyle \theta =\arctan \left({\frac {C_{y}}{C_{x}}}\right),}

Vektoren parallel zur Richtung des Gradienten

{\displaystyle \mathbf {n} =(\cos \theta ,\sin \theta ),}

und Vektoren, die orthogonal zum Gradienten sind

{\displaystyle \mathbf {n} _{\perp }=(-\sin \theta ,\cos \theta ).}

Ein Ausdruck für das Energieabschlussfunktional ist

{\displaystyle E_{\text{term}}={\partial \theta \over \partial n_{\perp }}={\partial ^{2}C/\partial n_{\perp }^{2} \over \partial C/\partial n}={{C_{yy}C_{x}^{2}-2C_{xy}C_{x}C_{y}+C_{xx}C_{y}^{2}} \over (C_{x}^{2}+C_{y}^{2})^{3/2}}}

Einige Systeme, wie z. B. die erste Implementierung von Schlangen, vom Benutzer steuerbare Schlangen, die sowohl in Bezug auf ihre anfängliche Positionierung als auch auf ihren Energiebedarf auf Eingaben reagierten.

Diese Constraint-Energie E_{{con}} kann verwendet werden, um die Schlangen interaktiv zu bestimmten Merkmalen hin oder weg von ihnen zu führen.

Auf den ersten Blick von einer Schlange ausgehend, wird die Energiefunktion der Schlange iterativ reduziert.

Eine der einfachsten Optimierungen, die angewendet werden kann, um die Schlangenenergie zu reduzieren, ist die Minimierung des Gradientenabstiegs.

Jede Iteration unternimmt einen Schritt im negativen Gradienten des Punktes mit kontrollierter Schrittweite \gamma , um lokale Minima zu finden.

Es ist möglich, diese Gradienten-Abstiegs-Minimierung als

{\displaystyle {\bar {v}}_{i}\leftarrow {\bar {v}}_{i}+F_{\text{snake}}({\bar {v}}_{i})}

Wobei {\displaystyle F_{\text{snake}}({\bar {v}}_{i})} die Kraft auf die Schlange ist, wobei das Gegenteil des Gradienten des Energiefeldes als Definition dient.

{\displaystyle F_{\text{snake}}({\bar {v}}_{i})=-\nabla E_{\text{snake}}({\bar {v}}_{i})=-{\Bigg (}w_{\text{internal}}\,\nabla E_{\text{internal}}({\bar {v}}_{i})+w_{\text{external}}\,\nabla E_{\text{external}}({\bar {v}}_{i}){\Bigg )}}

Unter der Annahme, dass die Gewichte \alpha (s) und \beta (s) in Bezug auf konstant sind, s ist es möglich, dieses iterative Vorgehen auf

{\displaystyle {\bar {v}}_{i}\leftarrow {\bar {v}}_{i}-\gamma {\Bigg \{}w_{\text{internal}}{\bigg [}\alpha {\frac {\partial ^{2}{\bar {v}}}{\partial s^{2}}}({\bar {v}}_{i})+\beta {\frac {\partial ^{4}{\bar {v}}}{\partial s^{4}}}({\bar {v}}_{i}){\bigg ]}+\nabla E_{\text{ext}}({\bar {v}}_{i}){\Bigg \}}}

In der Praxis haben Bilder eine endliche Auflösung und können nur über endliche Zeitschritte integriert werden \tau .

Daher sind für reale Anwendungen von Schlangen diskrete Näherungen erforderlich.

Diskrete Flecken auf der Schlange können als Annäherung an die Energiefunktion der Schlange verwendet werden.

{\displaystyle E_{\text{snake}}^{*}\approx \sum _{1}^{n}E_{\text{snake}}({\bar {v}}_{i})}

Daher können die Kräfte der Schlange grob wie folgt berechnet werden:

{\displaystyle F_{\text{snake}}^{*}\approx -\sum _{i=1}^{n}\nabla E_{\text{snake}}({\bar {v}}_{i}).}

Die Gradientenapproximation kann durch einen beliebigen endlichen Approximationsansatz in Bezug auf s erfolgen, z. B. durch die endliche Differenz.

Wenn diskrete Zeit in die Methode einbezogen wird, ist es möglich, dass Aktualisierungen eingeführt werden, bei denen die Schlange über die Minima hinausbewegt wird, zu denen sie angezogen wird, was entweder zu Oszillationen um die Minima oder zu einem neuen Minima führt.

Wenn Sie den Zeitschritt so einstellen, dass die Schrittweite aufgrund der Bildkräfte nie mehr als ein Pixel beträgt, kann dies verhindert werden. Die Aktualisierungen werden in erster Linie von internen Energien in Niedrigenergiezonen angetrieben.

Eine andere Möglichkeit besteht darin, die Bildkräfte in jeder Phase so zu normalisieren, dass sie das Aussehen der Schlange nur um ein Pixel verändern. Eine gleichwertige Formulierung wäre

{\displaystyle F_{\text{image}}=-k{\frac {\nabla E_{\text{image}}}{\|\nabla E_{\text{image}}\|}}}

wobei \tau k in der Nähe des Werts der Pixelgröße liegt.

Dadurch wird verhindert, dass dominante innere Energien durch die Feinabstimmung des Zeitschritts entstehen.

In einem kontinuierlichen Bild kann es Nulldurchgänge zwischen den Energien geben, die nicht den diskreten Bildpixeln entsprechen. Die Position einer Schlange an diesem Nulldurchgang würde dann zwischen den beiden benachbarten Pixeln auf und ab wippen. Durch die Verwendung von Interpolation zwischen Pixeln anstelle der Erkennung des nächsten Nachbarn kann diese Oszillation eliminiert werden.

Es gibt eine Reihe von Randbedingungen und Einschränkungen bei der Funktionsweise der Konvergenz bei Verwendung der Snakes-Standardtechnik. Es gibt eine Reihe von Optionen, die die Nachteile