Bildsegmentierung: Erkenntnisse durch Pixelpräzision erschließen

Von Fouad Sabry

Was ist Bildsegmentierung

In der digitalen Bildverarbeitung und Computer Vision ist Bildsegmentierung der Prozess der Aufteilung eines digitalen Bildes in mehrere Bildsegmente, auch Bildregionen genannt Bildobjekte. Das Ziel der Segmentierung besteht darin, die Darstellung eines Bildes zu vereinfachen und/oder in etwas zu ändern, das aussagekräftiger und einfacher zu analysieren ist. Bildsegmentierung wird typischerweise verwendet, um Objekte und Grenzen in Bildern zu lokalisieren. Genauer gesagt ist Bildsegmentierung der Prozess, bei dem jedem Pixel in einem Bild eine Beschriftung zugewiesen wird, sodass Pixel mit derselben Beschriftung bestimmte Eigenschaften aufweisen.

Ihre Vorteile

(I) Erkenntnisse und Validierungen zu den folgenden Themen:

Kapitel 1: Bildsegmentierung

Kapitel 2: Kantenerkennung

Kapitel 3: Skalierungsinvariante Feature-Transformation

Kapitel 4: Schwellenwert (Bildverarbeitung)

Kapitel 5: Otsus Methode

Kapitel 6: Eckenerkennung

Kapitel 7: Graphenschnitte in Computer Vision

Kapitel 8: Mittlere Verschiebung

Kapitel 9: Bereichssegmentierung

Kapitel 10: Wasserscheide (Bildverarbeitung)

(II) Beantwortung der häufigsten öffentlichen Fragen zur Bildsegmentierung.

(III) Beispiele aus der Praxis für die Verwendung der Bildsegmentierung in vielen Bereichen.

Für wen sich dieses Buch eignet:

Profis, Studenten und Doktoranden, Enthusiasten, Hobbyisten und diejenigen, die über grundlegende Kenntnisse oder Informationen für jede Art von Bildsegmentierung hinausgehen möchten.

 

 

• Sprache: Deutsch
• Herausgeber: Eine Milliarde Sachkundig [German]
• Erscheinungsdatum: 11. Mai 2024

Buchvorschau

Kapitel 1: Bildsegmentierung

Die Bildsegmentierung, auch bekannt als Bildbereichs- oder Objektsegmentierung, ist eine Technik, die in der Computer Vision und Bildverarbeitung verwendet wird, um ein digitales Bild in kleinere, überschaubarere Teile (Pixelsätze) zu unterteilen. Der Zweck der Segmentierung besteht darin, die Darstellung eines Bildes in eine verständlichere und informativere umzuwandeln. Das Segmentieren eines Bildes ist eine gängige Technik zum Auffinden von Merkmalen wie Linien, Kurven und anderen Berandungen in einem Bild. Genauer gesagt ist die Bildsegmentierung der Prozess der Beschriftung jedes Pixels in einem Bild, sodass Pixel mit derselben Beschriftung gemeinsame Eigenschaften haben.

Das Segmentieren eines Bildes ergibt eine Sammlung von Unterbildern oder Konturen, die zusammen das Originalbild bilden (siehe Kantenerkennung). Alle Pixel in einem bestimmten Bereich weisen eine Ähnlichkeit in mindestens einer berechneten Eigenschaft auf, z. B. Farbton, Sättigung oder Textur. Unterschiedliche Farbgebung zwischen benachbarten Regionen für dieselben Features.

Die Bildsegmentierung hat viele praktische Anwendungen, einschließlich der folgenden:

Bildabruf basierend auf dem Inhalt

Industrielle Bildverarbeitung

Diagnostische Bildgebungsverfahren wie Computertomographie (CT) und Magnetresonanztomographie (MRT) mit Volumenwiedergabe.

Diagnostizieren Sie Krebs und andere Pathologien

Messen Sie das Gewebevolumen

Studium der Anatomie und Diagnose

OP-Planung

Virtuelle Operationssimulation

Nicht funktionsfähige Leitsysteme

Strahlentherapie

Objekterkennung

Fußgängererkennung

Gesichtserkennung

Bremslicht-Erkennung

Erkennen Sie Dinge in Weltraumbildern (Straßen, Wälder, Feldfrüchte usw.)

Erkennungsaufgaben

Gesichtserkennung

Fingerabdruck-Erkennung

Iris-Erkennung

Verkehrsleitsysteme

Videoüberwachung

Aktionserkennung und Co-Segmentierung in Videos

Zahlreiche universelle Algorithmen und Methoden zur Bildsegmentierung wurden entwickelt. Diese Methoden erfordern in der Regel domänenspezifisches Wissen, um effektiv auf Segmentierungsprobleme innerhalb einer bestimmten Domäne angewendet zu werden.

Es gibt zwei Arten von Segmentierungsmethoden.

Konventionelle Techniken in der Computer Vision

KI-basierte Techniken

Die semantische Segmentierung ist eine Methode, die jedem einzelnen Pixel eines Objekts eine Klasse zuweist. Die Segmentierung einer Figur in ihre Bestandteile wie ihre Menschen und ihren Hintergrund würde zu zwei unterschiedlichen Objekten führen.

Die Instanzsegmentierung ist eine Methode, die jedes Pixel der richtigen Objektinstanz zuweist. Er findet jedes einzelne Objekt im Bild. Die Segmentierung wird beispielsweise verwendet, wenn jeder einzelne Teil einer Figur als separate Einheit behandelt wird.

Semantische und Instanzsegmentierung werden in der panoptischen Segmentierung zusammengeführt. Ähnlich wie bei der semantischen Segmentierung bestimmt die panoptische Segmentierung die Klassenzugehörigkeit des Pixels. Die panoptische Segmentierung kann im Gegensatz zur semantischen Segmentierung Mitglieder derselben Klasse unterscheiden.

Schwellenwerte sind die einfachste Methode der Bildsegmentierung. Der Clip-Level (oder Schwellenwert) ist die Grundlage dieser Technik zum Konvertieren eines Graustufenbildes in ein binäres Bild.

Die Auswahl des geeigneten Schwellenwerts ist für diesen Ansatz entscheidend (oder Werte, wenn mehrere Ebenen ausgewählt sind). Die Methode der maximalen Entropie, die Methode der ausgeglichenen Histogramm-Schwellenwerte, die Methode von Otsu (maximale Varianz) und die k-Means-Clustering-Methode sind in der Wirtschaft weit verbreitet.

In letzter Zeit sind Schwellentechniken für Computertomographie (CT)-Bilder aufgetaucht. Die Hauptidee ist, dass die Schwellenwerte aus den Röntgenbildern abgeleitet werden und nicht aus dem (rekonstruierten) Bild, wie bei Otsus Methode.

Um ein Bild in K-Gruppen zu unterteilen, verwendet der K-Means-Algorithmus iterative Techniken. Standardverfahren ist

Wählen Sie K Knoten für einen Cluster nach dem Zufallsprinzip oder mit einer heuristischen Technik wie K-Means++ aus.

Pixel sollten Clustern basierend auf der kürzesten Entfernung zu den Cluster-Mittelpunkten zugewiesen werden.

Berechnen Sie Cluster-Mittelpunkte neu, indem Sie Cluster-Pixel mitteln.

Um eine Konvergenz zu erreichen, sollten die Schritte 2 und 3 wiederholt werden (d. h. keine Pixel wechseln die Cluster).

Der Abstand zwischen einem einzelnen Pixel und dem Mittelpunkt eines Clusters wird als quadratischer oder absoluter Abstand ausgedrückt. Farbe, Helligkeit, Textur und Position einzelner Pixel oder eine Kombination davon spielen oft eine Rolle bei der Feststellung der Unterscheidung. Der Wert von K kann empirisch, beliebig oder heuristisch gewählt werden. Es gibt eine Konvergenzgarantie für diesen Algorithmus, aber er liefert möglicherweise nicht die beste Antwort. Die Wirksamkeit der Lösung wird durch die eingangs angegebene Anzahl von Clustern und den Parameter K bestimmt.

Der Mean Shift-Algorithmus ist eine Methode zum Gruppieren von Bildern in Teilmengen, deren Anzahl nicht im Voraus bestimmt werden kann. Die Tatsache, dass dies keine Vorkenntnisse über einen solchen Parameter erfordert, macht es zu einer überlegenen allgemeinen Lösung für ein breiteres Spektrum von Problemen.

Um die Segmentierung durchzuführen, verwendet die bewegungsbasierte Methode die Bewegungsinformationen des Bildes.

Das Konzept ist einfach: Vergleichen und kontrastieren Sie einfach zwei Bilder. Wenn das Ziel der Studie in Bewegung ist, ist die Differenz das Ziel selbst.

Kenney et al. [2] schlugen die interaktive Segmentierung als Verbesserung dieser Idee vor. Um das für die bewegungsbasierte Segmentierung erforderliche Bewegungssignal zu erzeugen, wird ein Roboter verwendet, um an Objekten zu stochern.

Dov Katz [3, 4] und Oliver Brock [3, 4] schlugen den interaktiven Wahrnehmungsrahmen vor, auf dem die interaktive Segmentierung basiert.

Die bewegungsbasierte starre Bewegungssegmentierungstechnik ist eine weitere Option.

Nach den Grundsätzen komprimierungsbasierter Ansätze ist der beste Weg, Daten in überschaubare Blöcke aufzuteilen, wobei die kleinste Codierungslänge die optimale Lösung ist. Die Segmentierung sucht nach Mustern in einem Bild, und diese Muster können ausgenutzt werden, um komprimierte Versionen des Originals zu erstellen. Die Technik charakterisiert jeden Abschnitt durch seine Grenzstruktur und Kontur. Um die Codierungslänge jedes dieser Teile zu bestimmen, verwenden wir Wahrscheinlichkeitsverteilungsfunktionen als Modelle:

Die glatte Kontur von Regionen in natürlichen Bildern wird durch die Grenzkodierung ausgenutzt. Die Huffman-Codierung verwendet dies vor dem Codieren des Differenzkettencodes der Konturen eines Bildes. Je kürzer die Codierungslänge, desto glatter die Grenze.

Die verlustbehaftete Komprimierung wird verwendet, um Texturen analog zum MDL-Prinzip zu codieren. Die Länge der Daten, die dem Modell gegeben sind, entspricht jedoch ungefähr der Anzahl der Stichproben multipliziert mit der Entropie des Modells. Eine multivariate Normalverteilung wird verwendet, um die Textur in jedem Bereich zu modellieren, und die Entropie dieser Verteilung kann in geschlossener Form ausgedrückt werden. Die geschätzte Entropie hat Obergrenzen, die mit der wahren Entropie der Daten übereinstimmen, was eine faszinierende Eigenschaft dieses Modells ist. Dies liegt an der Tatsache, dass die Entropie einer Normalverteilung die höchste aller Verteilungen für einen bestimmten Mittelwert und eine bestimmte Kovarianz ist. Aus diesem Grund kann das Ziel des Algorithmus, die Codierung zu minimieren, die tatsächliche Codierungslänge nicht überschreiten.

Die Anzahl der Bits, die benötigt werden, um ein Bild basierend auf einer bestimmten Segmentierung zu kodieren, wird nach diesem Schema berechnet. Daher besteht das Ziel darin, unter allen möglichen Bildsegmentierungen diejenige zu identifizieren, die die kürzeste Codierungslänge ergibt. Ein einfacher agglomerativer Clustering-Ansatz reicht hier aus. Die Grobheit der Segmentierung wird durch verlustbehaftete Komprimierungsverzerrung festgelegt, und die beste Einstellung kann sich von Bild zu Bild ändern. Dieser Parameter kann grob geschätzt werden, indem der Texturkontrast eines Bildes als Richtlinie verwendet wird. Eine stärkere Empfindlichkeit und damit eine geringere Quantisierung ist erforderlich, wenn z. B. die Texturen in einem Bild ähnlich sind, wie bei Tarnbildern.

Im Vergleich zu anderen Bildsegmentierungstechniken zeichnen sich histogrammbasierte Methoden dadurch aus, dass sie in der Regel nur einen einzigen Durchgang durch die Pixel benötigen. Bei der Methode wird ein Histogramm aus den Pixeln des Bildes erstellt und dann die Spitzen und Täler des Histogramms verwendet, um die Cluster zu lokalisieren. Die Skala kann auf Farbton oder Helligkeit basieren.

Die rekursive Anwendung der Histogramm-Suchmethode auf Bildcluster, um sie in kleinere Cluster zu unterteilen, ist eine Verfeinerung dieser Technik. Bis keine neuen Cluster mehr gebildet werden können, wird dieser Vorgang mit immer kleineren Clustern wiederholt.

Es kann schwierig sein, wirklich signifikante Höhen und Tiefen in einem Bild zu erkennen, wenn Sie die Technik der