Computer-Vision-Grafikschnitte: Erforschung von Graphschnitten in der Computer Vision

Von Fouad Sabry

Was ist Computer Vision Graph Cuts?

Bei der Anwendung im Bereich Computer Vision kann die Graph Cut-Optimierung eingesetzt werden, um eine Vielzahl von Low-Level-Computer Vision-Problemen effizient zu lösen Probleme wie Bildglättung, Stereokorrespondenzproblem, Bildsegmentierung, Objekt-Co-Segmentierung und viele andere Computer-Vision-Probleme, die im Hinblick auf Energieminimierung formuliert werden können. Viele dieser Energieminimierungsprobleme können durch die Lösung eines Maximalflussproblems in einem Diagramm angenähert werden. Bei den meisten Formulierungen solcher Probleme in der Bildverarbeitung entspricht die minimale Energielösung der maximalen a-posteriori-Schätzung einer Lösung. Obwohl viele Computer-Vision-Algorithmen das Schneiden eines Diagramms beinhalten, wird der Begriff „Graph Cuts“ speziell für Modelle verwendet, die eine Max-Flow/Min-Cut-Optimierung verwenden.

Ihre Vorteile

(I) Einblicke und Validierungen zu den folgenden Themen:

Kapitel 1: Diagrammschnitte in Computer Vision

Kapitel 2: Max-Flow min -Schnitt-Theorem

Kapitel 3: Bildsegmentierung

Kapitel 4: Schnitt (Graphentheorie)

Kapitel 5: Minimaler Schnitt

Kapitel 6: Watershed (Bildverarbeitung)

Kapitel 7: GrabCut

Kapitel 8: Random-Walker-Algorithmus

Kapitel 9: Graph-Cut-Optimierung

Kapitel 10: Videomatten

(II) Beantwortung der häufigsten öffentlichen Fragen zu Computer-Vision-Grafikschnitten.

(III) Beispiele aus der Praxis für die Verwendung von Computer-Vision-Grafikschnitten in vielen Bereichen Fachgebiete.

An wen sich dieses Buch richtet

Profis, Studenten und Doktoranden, Enthusiasten, Hobbyisten und diejenigen, die über das Grundwissen oder die Informationen hinausgehen möchten für jede Art von Computer Vision Graph Cuts.

 

 

• Sprache: Deutsch
• Herausgeber: Eine Milliarde Sachkundig [German]
• Erscheinungsdatum: 11. Mai 2024

Buchvorschau

Kapitel 1: Diagrammschnitte in der Computer Vision

Die Optimierung des Graphenschnitts kann, wenn sie auf das Thema Computer Vision angewendet wird, verwendet werden, um eine breite Palette von Problemen der Computer Vision auf niedriger Ebene (auch bekannt als frühe Sehprobleme) auf effektive und effiziente Weise anzugehen (und somit nach dem Max-Flow-Min-Cut-Theorem einen minimalen Schnitt des Graphen zu definieren). Die meisten Ansätze zur Formulierung solcher Probleme in der Computer Vision stimmen darin überein, dass die Antwort mit dem geringsten Energieaufwand der höchsten a posteriori Schätzung einer Lösung entspricht. Obwohl viele Computer-Vision-Algorithmen das Schneiden eines Diagramms beinhalten (z. B. normalisierte Schnitte), bezieht sich der Begriff Diagrammschnitte insbesondere auf Modelle, die eine Max-Flow/Min-Cut-Optimierung verwenden. Dies liegt daran, dass viele Computer-Vision-Methoden das Schneiden eines Diagramms beinhalten (andere Algorithmen zum Schneiden von Diagrammen können als Algorithmen zur Partitionierung von Graphen betrachtet werden).

Mit dieser Methode können binäre Probleme, wie z. B. das Entrauschen eines Binärbildes, genau gelöst werden; Probleme, bei denen Pixel mit mehr als zwei verschiedenen Beschriftungen beschriftet werden können, wie z. B. Stereokorrespondenz oder Rauschunterdrückung eines Graustufenbildes, können nicht genau gelöst werden; Die produzierten Lösungen sind jedoch in der Regel sehr nahe am globalen Optimum.

In ihrer bahnbrechenden Studie waren Greig, Porteous und Seheult von der Durham University diejenigen, die die Idee der Graphenschnitte erstmals auf den Prozess der Optimierung von Computer Vision anwandten. Graphenschnitte sind eine Technik der Optimierung. Allan Seheult und Bruce Porteous waren Mitglieder der damaligen Statistikgruppe von Durham, die von Julian Besag und Peter Green (Statistiker) geleitet wurde, wobei die Optimierungsexpertin Margaret Greig als erste weibliche Mitarbeiterin des Durham Mathematical Sciences Department bekannt war.

Im Bayes'schen statistischen Kontext der Glättung verrauschter (oder beschädigter) Bilder zeigten sie, wie die maximale a posteriori Schätzung eines binären Bildes genau durch Maximierung des Flusses durch ein zugehöriges Bildnetzwerk erhalten werden kann, was die Einführung einer Quelle und Senke beinhaltet. So konnten sie zeigen, wie die maximale a posteriori Schätzung eines Binärbildes exakt erhalten werden kann. Als Ergebnis wurde gezeigt, dass das Problem erfolgreich behoben werden kann. Vor dieser Erkenntnis wurden Approximationsansätze wie das simulierte Glühen, das von den Gebrüdern Geman vorgestellt wurde, verwendet, um ähnliche Probleme der Bildglättung anzugehen. Aber jetzt, da wir diese Lösung haben, können wir diese Probleme genauer lösen.

Obwohl das allgemeine k Farbproblem für k>2, den Ansatz von Greig ungelöst bleibt, wird erwartet, dass Porteous und Seheult ein breites Anwendungsspektrum in allgemeinen Computer-Vision-Fragen haben werden.

Greig, Es ist gängige Praxis, die Porteous- und Seheult-Methoden iterativ auf eine Reihe von binären Problemen anzuwenden, was oft zu Lösungen führt, die dem Ideal sehr nahe kommen.

Im Jahr 2011 hat C.

Couprie et al.

Es wurde ein umfassendes Framework für die Bildsegmentierung vorgestellt, das oft als Power Watershed bezeichnet wird und das bestmögliche Ergebnis für eine reellwertige Indikatorfunktion erzielte, die von [0,1] in einem Diagramm reicht, das durch die von Benutzern gepflanzten Samen (oder unären Termen) bis 0 bzw. 1 begrenzt ist, wobei die Minimierung der Indikatorfunktion über das Diagramm in Bezug auf einen Exponenten optimiert ist p .

Wenn p=1 , ermöglichen Diagrammschnitte die Optimierung des Leistungseinzugsgebiets, wenn p=0 das Leistungseinzugsgebiet durch kürzeste Wege optimiert wird, p=2 durch den Random-Walker-Algorithmus optimiert wird und p=\infty durch den Wasserscheidenalgorithmus (Bildverarbeitungsalgorithmus) optimiert wird.

In diesem Fall ist es möglich, sich das Power Watershed als eine Erweiterung von Diagrammschnitten vorzustellen, die eine einfache Verbindung zu mehreren anderen Segmentierungs-/Clustering-Techniken zur Energieoptimierung bietet.

Bild: x\in \{R,G,B\}^{N}

Ausgabe: Segmentierung (auch Deckkraft genannt) S\in R^{N} (weiche Segmentierung).

Für harte Segmentierung

S\in \{0{\text{ for background}},1{\text{ for foreground/object to be detected}}\}^{N}

Energiefunktion: E(x,S,C,\lambda ) wobei C der Farbparameter und λ der Kohärenzparameter ist.

E(x,S,C,\lambda )=E_{{{\rm {color}}}}+E_{{{\rm {coherence}}}}

Optimierung: Die Segmentierung kann als globales Minimum über S geschätzt werden: {\arg \min }_{S}E(x,S,C,\lambda )

Die Standard-Diagrammschnitte zielen darauf ab, die Effizienz der Energiefunktion über die Segmentierung (unbekannter S-Wert) zu maximieren.

Schnitte in einem iterierten Diagramm:

In der ersten Phase wird eine K-Means-Optimierung für die Farbparameter durchgeführt.

Der Standardalgorithmus zum Schneiden von Diagrammen wird in der zweiten Stufe ausgeführt.

Diese beiden Prozesse werden rekursiv ausgeführt, bis die Konvergenz erreicht ist.

Durch die Verwendung dynamischer Graphenschnitte kann die Technik deutlich schneller erneut ausgeführt werden, sobald das Problem geändert wurde (z. B. nachdem ein Benutzer neue Seeds hinzugefügt hat).

{\displaystyle \Pr(x\mid S)=K^{-E}}

wobei sich die Energie E aus zwei verschiedenen Modellen zusammensetzt ( E_{{{\rm {color}}}} und E_{{{\rm {coherence}}}} ):

E_{{{\rm {color}}}} — unärer Begriff, der die Wahrscheinlichkeit jeder Farbe beschreibt.

Dieser Begriff kann auf verschiedene Arten dargestellt werden, einschließlich lokaler (z. B. Texons) oder globaler (z. B. Histogramme, GMMs und Adaboost-Wahrscheinlichkeit), die alle unten beschrieben werden.

Um Histogramme für die Objekt- (Vordergrund) und Hintergrundintensitätsverteilungen zu erzeugen, verwenden wir die Intensitäten von Pixeln, die als Seeds identifiziert wurden: Sowohl P(I|O) als auch P(I|B).

Danach bestimmen wir die regionalen Strafen, indem wir diese Histogramme verwenden und sie als negative Log-Wahrscheinlichkeiten festlegen.

In den meisten Fällen verwenden wir zwei Verteilungen: eine für die Modellierung des