Blob-Erkennung: Aufdecken von Mustern in visuellen Daten

Von Fouad Sabry

Was ist Blob-Erkennung

Im Bereich Computer Vision dienen Blob-Erkennungsalgorithmen dazu, Bereiche innerhalb eines digitalen Bildes zu identifizieren, die sich von den sie umgebenden Regionen unterscheiden Begriffe von Eigenschaften wie Helligkeit oder Farbeigenschaften. Im lockereren Sinne ist ein Klecks ein Bereich eines Bildes, in dem bestimmte Eigenschaften konstant oder nahezu konstant bleiben. Alle Punkte, aus denen ein Blob besteht, können in gewisser Weise als miteinander vergleichbar angesehen werden. Die Verwendung der Faltung ist die Methode, die am häufigsten zur Blob-Erkennung verwendet wird.

Wie Sie davon profitieren

(I) Einblicke und Validierungen darüber die folgenden Themen:

Kapitel 1: Blob-Erkennung

Kapitel 2: Kantenerkennung

Kapitel 3: Canny Edge Detector

Kapitel 4 : Skaleninvariante Feature-Transformation

Kapitel 5: Skalierungsraum

Kapitel 6: Feature (Computer Vision)

Kapitel 7: Differenz von Gaußschen Funktionen

Kapitel 8: Eckenerkennung

Kapitel 9: Graterkennung

Kapitel 10: Skaleninvarianter Feature-Operator

(II) Beantwortung der öffentlichen Top-Fragen über Blob-Erkennung.

(III) Beispiele aus der Praxis für den Einsatz der Blob-Erkennung in vielen Bereichen.

Für wen dieses Buch gedacht ist

Profis, Studenten und Doktoranden, Enthusiasten, Hobbyisten und diejenigen, die über grundlegende Kenntnisse oder Informationen für jede Art von Blob-Erkennung hinausgehen möchten.

 

 

• Sprache: Deutsch
• Herausgeber: Eine Milliarde Sachkundig [German]
• Erscheinungsdatum: 1. Mai 2024

Buchvorschau

Kapitel 1: Blob-Erkennung

Das Ziel von Blob-Detection-Techniken in der Computer Vision ist es, Bereiche eines digitalen Bildes zu identifizieren, die sich deutlich von ihrer Umgebung unterscheiden. Alle Punkte innerhalb eines Kleckses können als einander ähnlich angesehen werden, daher wird der Begriff Klecks verwendet, um einen Bereich eines Bildes zu beschreiben, in dem bestimmte Qualitäten konstant oder im Wesentlichen konstant sind. Faltung ist die am häufigsten verwendete Technik für die Blob-Erkennung.

Die beiden primären Arten von Blob-Detektoren sind I-differentielle Ansätze, die auf Ableitungen der Funktion in Bezug auf die Position basieren, und (ii) lokale Extrema-Methoden, die sich auf die Detektion der lokalen Maxima und Minima der Funktion konzentrieren. Diese Detektoren werden nach der aktuellsten Nomenklatur auf dem Gebiet auch als Interest Point Operators oder Interest Region Operators bezeichnet (siehe auch Interest Point Detection und Corner Detection).

Es gibt mehrere Gründe, Blob-Detektoren zu untersuchen und zu verfeinern. Die primäre Motivation besteht darin, die von Kanten- und Eckendetektoren gelieferten Daten durch mehr Informationen über Regionen zu ergänzen. In den frühesten Studien auf diesem Gebiet wurde die Blob-Detektion verwendet, um relevante Abschnitte zu isolieren. Diese Flecken auf dem Bild können als Indikatoren für Objekte oder Objektteile zum Zwecke der Objekterkennung und/oder -verfolgung dienen. Die Histogrammanalyse ist nur ein Bereich, in dem Blob-Deskriptoren zur Peak-Identifizierung im Kontext der Segmentierung eingesetzt werden können. Blob-Deskriptoren werden auch häufig als grundlegende Bausteine in den Bereichen Texturanalyse und Texturerkennung verwendet. In jüngster Zeit wurden Blob-Deskriptoren häufig verwendet, um das Vorhandensein von informativen Bildmerkmalen für die darstellungsbasierte Objekterkennung auf der Grundlage lokaler Bildstatistiken anzuzeigen und als Interessenpunkte für einen breiten Baseline-Stereoabgleich zu dienen. In ähnlicher Weise kann die Graterkennung verwendet werden, um das Vorhandensein linearer Elemente anzuzeigen.

Die Laplace-Funktion der Gauß-Verteilung war die Grundlage für einen der frühesten und am weitesten verbreiteten Blob-Detektoren (LoG).

Bei einem gegebenen Eingabebild f(x,y) wird ein Gauß-Kernel verwendet, um dieses Bild zu falten.

{\displaystyle g(x,y,t)={\frac {1}{2\pi t}}e^{-{\frac {x^{2}+y^{2}}{2t}}}}

in einem bestimmten Maßstab t , um eine maßstabsgetreue Raumdarstellung zu erhalten

L(x,y;t)\ =g(x,y,t)*f(x,y)

.

Dann wird die Ausgabe eines Laplace-Vorgangs

\nabla ^{2}L=L_{xx}+L_{yy}

berechnet wird, was in der Regel zu starken positiven Reaktionen für dunkle Kleckse mit Radius {\textstyle r^{2}=2t} (für ein zweidimensionales Bild, {\textstyle r^{2}=dt} für ein {\textstyle d} -dimensionales Bild) und zu starken negativen Reaktionen für helle Kleckse ähnlicher Größe führt.

Wenn dieser Operator auf einer einzigen Skala verwendet wird, besteht das grundlegende Problem jedoch darin, dass die Reaktion des Operators stark von der Korrelation zwischen den Größen der Blob-Strukturen in der Bilddomäne und der Gauß-Größe des Kernels vor der Glättung abhängt.

In der Bilddomäne werden Blobs unterschiedlicher (unbekannter) Größe automatisch erfasst, Daher ist es wichtig, mehrere Ebenen gleichzeitig zu berücksichtigen.

Die Berücksichtigung des skalennormalisierten Laplace-Operators ist eine einfache Technik, um einen Multiskalen-Blob-Detektor mit automatischer Skalenauswahl zu konstruieren.

{\displaystyle \nabla _{\mathrm {norm} }^{2}L=t\,(L_{xx}+L_{yy})}

auch zur Identifizierung von Skalen-Raum-Extrema, d.h. Punkten, die gleichzeitig lokale Maxima/Minima sowohl {\displaystyle \nabla _{\mathrm {norm} }^{2}L} in Bezug auf den Raum als auch auf die Skala sind (Lindeberg 1994, 1998).

So wird bei einem diskreten zweidimensionalen Eingabebild f(x,y) ein dreidimensionales diskretes Skalenraumvolumen L(x,y,t) berechnet und ein Punkt als heller (dunkler) Fleck betrachtet, wenn der Wert an diesem Punkt größer (kleiner) ist als der Wert in allen seinen 26 Nachbarn.

Somit erfolgt die gleichzeitige Selektion von Interessenpunkten ({\hat {x}},{\hat {y}}) und Skalen {\hat {t}} nach

{\displaystyle ({\hat {x}},{\hat {y}};{\hat {t}})=\operatorname {argmaxminlocal} _{(x,y;t)}((\nabla _{\mathrm {norm} }^{2}L)(x,y;t))}

.

Denken Sie daran, dass dieses Blob-Konzept den Begriff auf einfache und mathematisch präzise Weise definiert, was zu einer Blob-Identifizierungstechnik führt, die sowohl effektiv als auch zuverlässig ist.

Blobs, die aus den Skalenraummaxima des normalisierten Laplace-Operators definiert sind, haben mehrere grundlegende Eigenschaften, wie z. B. translational invariante Antworten, Transformationen von Bildern durch Rotation und Größenänderung.

Wenn also an einem Punkt ein Skalenraummaximum angenommen wird, (x_{0},y_{0};t_{0}) dann gibt es bei einer Neuskalierung des Bildes um einen Skalierungsfaktor s ein Skalierungsraummaximum bei {\displaystyle \left(sx_{0},sy_{0};s^{2}t_{0}\right)} im neu skalierten Bild (Lindeberg 1998).

Aufgrund seiner äußerst praktischen Qualität kann das Thema der Laplace-Blob-Detektion erweitert werden, um lokale Extreme in der skalennormalisierten Verteilung einzubeziehen. Weitere Anwendungen von Laplacian sind die Skalenauswahl, z.B. bei der Erkennung von Ecken, die maßstabsbewusste Überwachung von Merkmalen (Bretzner und Lindeberg 1998), beim Bildabgleich und bei der Objekterkennung mittels skaleninvarianter Merkmalstransformation (Lowe, 2004) und anderen Bilddeskriptoren.

Sowohl der Laplace-Operator als auch andere ähnliche Skalenraum-Interest-Point-Detektoren haben ihre Skalenauswahlmerkmale untersucht (Lindeberg 2013a). Es wird gezeigt, dass andere Skalenraum-Interessenpunktdetektoren, wie z.B. die Determinante des Hesse-Operators, den Laplace-Operator und seine Differenz-von-Gauß-Approximation in (Lindeberg 2013b, 2015) übertreffen, wenn es um bildbasiertes Matching mit lokalen SIFT-ähnlichen Bilddeskriptoren geht.

Aus der Tatsache, dass die Skalenraumdarstellung L(x,y,t) die Diffusionsgleichung erfüllt

\partial _{t}L={\frac {1}{2}}\nabla ^{2}L

Daraus folgt, dass die Laplacefunktion des Gaußschen Operators \nabla ^{2}L(x,y,t) auch als Grenzfall der Differenz zwischen zwei Gaußschen geglätteten Bildern (Maßstabsraumdarstellungen) berechnet werden kann

{\displaystyle \nabla _{\mathrm {norm} }^{2}L(x,y;t)\approx {\frac {t}{\Delta t}}\left(L(x,y;t+\Delta t)-L(x,y;t)\right)}

.

Diese Methode wird im Bereich des maschinellen Sehens oft als Differenz-Gauß-Methode (DoG) bezeichnet. Obwohl es einige feine Unterschiede gibt, kann dieser Operator als eine Annäherung an den Laplace-Operator betrachtet werden und teilt viele seiner Eigenschaften. Siehe (Lindeberg 2012, 2015) für eine explizite Beziehung zwischen dem Differenz-von-Gauß-Operator und dem skalennormalisierten Laplace-Blob-Detektor. Blobs können auch aus den Extremen der Gaußschen Unterschiede im Skalenraum identifiziert werden. Der SIFT-Algorithmus (Scale-Invariant Feature Transform) ist eine Implementierung dieser Strategie. für mehr siehe Lowe (2004).

Unter Berücksichtigung der Hesse-Determinante nach der Skalierung können wir, auch als Monge-Ampère-Operator bezeichnet,

{\displaystyle \det H_{\mathrm {norm} }L=t^{2}\left(L_{xx}L_{yy}-L_{xy}^{2}\right)}

wobei HL die Hesse-Matrix der Skalenraumdarstellung bezeichnet L wird und dann die Skalenraummaxima dieses Operators detektiert wird, erhält man einen weiteren einfachen differentiellen Blob-Detektor mit automatischer Skalenauswahl, der auch auf Sättel reagiert (Lindeberg 1994, 1998)

{\displaystyle ({\hat {x}},{\hat {y}};{\hat {t}})=\operatorname {argmaxlocal} _{(x,y;t)}((\det H_{\mathrm {norm} }L)(x,y;t))}

.

Die Blob-Punkte ({\hat {x}},{\hat {y}}) und -Skalen {\hat {t}} werden auch aus einer operationalen differentiellen geometrischen Definition definiert, die zu Blob-Deskriptoren führt, die kovariant mit Translationen, Transformationen von Bildern durch Rotation und Größenänderung sind.

In Bezug auf die Auswahl von Skalen sind die Skalenauswahlqualitäten für nicht-euklidische affine Transformationen für Blobs, die aus Skalenraumextrema der Determinante der Hessischen (DoH) konstruiert wurden, geringfügig verbessert (Lindeberg 1994), 1998, 2015).

Der SURF-Deskriptor (Bay et al.) verwendet die skalennormalisierte Determinante der Hesse-Funktion, die aus Haar-Wavelets berechnet wird, als grundlegenden Interessenpunktoperator.

) im Jahr 2006 für die Mustererkennung und den Bildabgleich.

Die Determinante des Hesse-Operators hat bessere Skalenauswahlfähigkeiten unter affinen Bildtransformationen als der Laplace-Operator, wie eine vollständige Analyse ihrer jeweiligen Selektionseigenschaften zeigt, die in Lindeberg 2013a veröffentlicht wurde. Für das bildbasierte Matching mit lokalen SIFT- oder SURF-ähnlichen Bilddeskriptoren wurde in (Lindeberg 2013b, 2015) gezeigt, dass die Determinante des Hesse-Operators signifikant besser abschneidet als der Laplace-Operator oder seine Differenz-von-Gauß-Approximation sowie besser als die Harris- oder Harris-Laplace-Operatoren, was zu höheren Effizienzwerten und niedrigeren 1-Genauigkeitswerten führt.

Für die Blob-Detektion wurde ein hybrider Operator zwischen der Laplace-Funktion und der Determinante der Hessen-Funktion entwickelt, wobei die Determinante der Hessen-Funktion für die räumliche Selektion und die skalennormalisierte Laplace-Funktion für die Skalenauswahl verwendet wird. (Mikolajczyk und Schmid 2004):

{\displaystyle ({\hat {x}},{\hat {y}})=\operatorname {argmaxlocal} _{(x,y)}((\det HL)(x,y;t))}{\displaystyle {\hat {t}}=\operatorname {argmaxminlocal} _{t}((\nabla _{\mathrm {norm} }^{2}L)({\hat {x}},{\hat {y}};t))}

Dieser Operator hat Anwendung in der Texturanalyse, der Objekterkennung und dem Bildabgleich gefunden.

Diese Blob-Detektoren mit automatischer Skalenauswahl erzeugen Blob-Deskriptoren, die robust gegenüber räumlichen Transformationen wie Translationen, Rotationen und gleichmäßigen Neuskalierungen sind. Perspektivische Verzerrungen sind jedoch auch in den Bildern vorhanden, aus denen sich die Eingabe für ein Computer-Vision-System zusammensetzt. Das Erstellen eines Blobdetektors, der für affine Transformationen invariant ist, ist eine logische Möglichkeit, Blobdeskriptoren zu erhalten, die widerstandsfähiger gegen perspektivische Transformationen sind. Durch iteratives Verzerren der Form des Glättungskerns, um der lokalen Bildstruktur um den Blob herum zu entsprechen, oder, äquivalent, durch Verzerren eines lokalen Bildfeldes, während die Form des Glättungskerns rotationssymmetrisch bleibt, können affine invariante Interessenpunkte aus einem Blob-Deskriptor erhalten werden (Lindeberg und Garding 1997; Baumberg 2000; Mikolajczyk und Schmid 2004, Lindeberg 2008). Dies ermöglicht es uns, affine Versionen des Laplace-/Differenz-Gauß-Operators, der Hesse-Determinante und des Hesse-Laplace-Operators zu definieren (siehe auch Harris-Affine und Hessen-Affine).

Der folgende skalennormalisierte differentielle