Alpha-Compositing: Beherrschen der Kunst der Bildkomposition in Computer Vision

Von Fouad Sabry

Was ist Alpha-Compositing

Alpha-Compositing oder Alpha-Blending ist in der Computergrafik der Prozess, bei dem ein Bild mit einem Hintergrund kombiniert wird, um den Anschein einer teilweisen oder vollständigen Transparenz zu erwecken. Es ist oft sinnvoll, Bildelemente (Pixel) in separaten Durchgängen oder Ebenen zu rendern und die resultierenden 2D-Bilder dann zu einem einzigen, endgültigen Bild, dem sogenannten Kompositbild, zu kombinieren. Compositing wird im Film häufig eingesetzt, wenn computergerenderte Bildelemente mit Live-Aufnahmen kombiniert werden. Alpha Blending wird auch in 2D-Computergrafiken verwendet, um gerasterte Vordergrundelemente über einen Hintergrund zu legen.

Ihr Nutzen

(I) Einblicke und Validierungen zu folgenden Themen:

Kapitel 1: Alpha-Compositing

Kapitel 2: Digitales Compositing

Kapitel 3: PNG

Kapitel 4: RGB-Farbmodell

Kapitel 5: Gammakorrektur

Kapitel 6: Chroma-Unterabtastung

Kapitel 7: BMP-Dateiformat

Kapitel 8: RGBA-Farbmodell

Kapitel 9: Graustufen

Kapitel 10: Transparenz (Grafik)

(II) Beantwortung der häufigsten öffentlichen Fragen zum Alpha-Compositing.

(III) Beispiele aus der Praxis für den Einsatz von Alpha Compositing in vielen Bereichen.

Für wen dieses Buch gedacht ist

Profis, Studenten und Doktoranden, Enthusiasten, Hobbyisten und diejenigen, die über grundlegende Kenntnisse oder Informationen für jede Art von Alpha Compositing hinausgehen möchten.

• Sprache: Deutsch
• Herausgeber: Eine Milliarde Sachkundig [German]
• Erscheinungsdatum: 5. Mai 2024

Buchvorschau

Kapitel 1: Alpha-Compositing

Alpha-Compositing oder Alpha-Blending ist der Prozess des Mischens eines Bildes mit einem Hintergrund, um eine teilweise oder vollständige Transparenz in der Computergrafik zu simulieren. Häufig ist es vorteilhaft, Bildkomponenten (Pixel) in verschiedenen Durchgängen oder Schichten zu rendern und die resultierenden 2D-Bilder dann zu einem einzigen, endgültigen Bild zusammenzuführen, das als Composite bezeichnet wird. Der Film macht erheblichen Gebrauch von Compositing, wenn er computergerenderte grafische Elemente mit Live-Filmmaterial zusammenfügt. Die Alpha-Überblendung wird auch verwendet, um gerasterte Vordergrundelemente in 2D-Computergrafiken über einem Hintergrund zu platzieren.

Zusätzlich zur Farbe des Elements ist es wichtig, für jedes Bildelement eine zugehörige Maske beizubehalten, um sie effektiv zu integrieren. Diese Matte-Ebene stellt die Abdeckungsinformationen – die Form der gezeichneten Geometrie – bereit, sodass Sie leicht zwischen Bereichen des Bildes unterscheiden können, in denen etwas gezeichnet wurde, und Bereichen, in denen nichts gezeichnet wurde.

Obwohl der grundlegendste Vorgang zum Zusammenführen von zwei Bildern darin besteht, eines übereinander zu legen, werden mehrere verschiedene Prozesse oder Mischmodi verwendet.

In den späten 1970er Jahren führten Alvy Ray Smith und Ed Catmull am New York Institute of Technology Computer Graphics Lab das Konzept eines Alphakanals ein. Im Jahr 1981 leitete Bruce A. Wallace den identischen geraden Operator unter Verwendung eines Modells der physikalischen Reflexion/Transmission ab.

Die Verwendung des Begriffs Alpha wird von Smith wie folgt erklärt: Wir nannten es so wegen der klassischen linearen Interpolationsformel {\displaystyle \alpha A+(1-\alpha )B} , die den griechischen Buchstaben \alpha (Alpha) verwendet, um die Menge der Interpolation zwischen zwei Darstellungen A und B zu steuern.

Das heißt, wenn Bild A über Bild B gelegt wird, wird der Wert von \alpha in der Formel direkt aus dem Alphakanal von A übernommen.

In einem 2D-Bild wird für jedes Pixel eine Farbkombination beibehalten, oft eine Mischung aus Rot, Grün und Blau (RGB). Wenn Alpha-Compositing verwendet wird, enthält der Alphakanal jedes Pixels einen zusätzlichen numerischen Wert im Bereich von 0 bis 1. Der Wert 0 gibt an, dass das Pixel vollständig transparent ist, sodass die Farbe des darunter liegenden Pixels sichtbar ist. Einer zeigt an, dass das Pixel vollständig undurchsichtig ist.

Mit dem Vorhandensein eines Alphakanals können Bildkompositionsprozesse mit Hilfe einer Compositing-Algebra ausgedrückt werden. Bei zwei Fotos A und B besteht der häufigste Compositing-Prozess darin, die Bilder so zu kombinieren, dass A im Vordergrund und B im Hintergrund erscheint. Dies könnte als A gegen B ausgedrückt werden. Zusätzlich zu over definierten Porter und Duff die Compositing-Operatoren in, held out by (oft abgekürzt), on und xor (sowie die umgekehrten Operatoren rover, rin, rout und ratop) aus einer Überlegung über Optionen zum Mischen der Farben zweier Pixel, wenn ihre Abdeckung konzeptionell orthogonal überlagert wird:

Zum Beispiel kann der over-Operator implementiert werden, indem die folgende Formel auf jedes Pixel angewendet wird:

{\displaystyle \alpha _{o}=\alpha _{a}+\alpha _{b}(1-\alpha _{a})}{\displaystyle C_{o}={\frac {C_{a}\alpha _{a}+C_{b}\alpha _{b}(1-\alpha _{a})}{\alpha _{o}}}}

Dabei C_{o} C_{a} C_{b} stehen und für die Farbanteile der Pixel im Ergebnis, Bild A und Bild B einzeln, einzeln auf jeden Farbkanal (rot, grün, blau) angewendet, wobei {\displaystyle \alpha _{o}} und \alpha _{a} \alpha _{b} die Alphawerte der jeweiligen Pixel sind.

Im Wesentlichen ist der Over-Operator die Standard-Maloperation (siehe Painter-Algorithmus). Die In- und Out-Operatoren entsprechen dem Clipping beim Alpha-Compositing. Die beiden nutzen nur den Alphakanal und ignorieren die Farbkomponenten des zweiten Bildes. Darüber hinaus definiert plus das additive Mischen.

Wenn ein Bild einen Alphakanal enthält, stehen zwei gängige Darstellungen zur Verfügung: Alpha kann gerade (nicht zugeordnet) oder vormultipliziert (assoziiert) sein.

Die RGB-Komponenten stellen die Farbe des Objekts oder Pixels dar, unabhängig von seiner Deckkraft, wenn gerades Alpha verwendet wird. Dies ist das Verfahren, das durch den over-Operator des vorherigen Abschnitts impliziert wird.

Beim vormultiplizierten Alpha geben die RGB-Komponenten die Emission des Objekts oder Pixels an, während die Alpha-Komponente die Okklusion angibt. Dann wird der Over-Operator zu Folgendem:

{\displaystyle C_{o}=C_{a}+C_{b}(1-\alpha _{a})}{\displaystyle \alpha _{o}=\alpha _{a}+\alpha _{b}(1-\alpha _{a})}

Der größte Vorteil des vormultiplizierten Alphas besteht darin, dass es eine genaue Mischung, Interpolation und Filterung ermöglicht.

Unter der Annahme, dass die Pixelfarbe mit geraden (nicht vormultiplizierten) RGBA-Tupeln angegeben wird, hat ein Pixel mit dem Wert (0, 0,7, 0, 0,5) 70 Prozent der maximalen Grünintensität und 50 Prozent Deckkraft. Wenn der Farbton vollständig grün wäre, wäre sein RGBA (0, 1, 0, 0,5).

PNG und TIFF sind die gebräuchlichsten Bildformate, die den Alphakanal unterstützen. GIF unterstützt Alpha-Kanäle, ist aber ineffizient in Bezug auf den Dateispeicherplatz. Einige Videocodecs, z. B. Animation und Apple ProRes 4444 des QuickTime-Formats oder der Techsmith-Multiformat-Codec, enthalten Alphakanäle.

Im Allgemeinen unterstützt das BMP-Dateiformat diesen Kanal nicht. Dennoch ist es möglich, den Alphakanal in anderen Formaten wie 32-Bit (888-8) oder 16-Bit (444-4) zu speichern, obwohl nicht alle Computer oder Programme ihn lesen können: Auch für die Generierung dieser BMPs, die vor allem in Videospielen zum Einsatz kommen, wurden spezielle Programme entwickelt.

Die RGB-Werte typischer digitaler Fotografien werden durch einen Gamma-Korrekturmechanismus komprimiert, anstatt die physikalischen Lichtintensitäten direkt zu reflektieren:

{\displaystyle C_{\text{encoded}}=C_{\text{linear}}^{1/\gamma }}

Diese Transformation nutzt die begrenzte Anzahl von Bits im kodierten Bild besser aus, indem sie das Programm auswählt \gamma , das der nichtlinearen menschlichen Wahrnehmung der Luminanz besser entspricht.

Folglich müssen Computerprogramme, die solche Bilder manipulieren, die RGB-Werte in einen linearen Raum dekodieren (indem sie die Gamma-Kompression entfernen), die linearen Lichtintensitäten mischen und dann die Gamma-Kompression erneut auf das resultierende Bild anwenden:

{\displaystyle C_{o}=\left({\frac {C_{a}^{\gamma }\alpha _{a}+C_{b}^{\gamma }\alpha _{b}(1-\alpha _{a})}{\alpha _{o}}}\right)^{1/\gamma }}

Vor der Gammakomprimierung wird die Vormultiplikation im linearen Raum durchgeführt, wenn sie mit vormultipliziertem Alpha gepaart wird. Daraus ergibt sich die folgende Formel:

{\displaystyle C_{o}=\left(C_{a}^{\gamma }+C_{b}^{\gamma }(1-\alpha _{a})\right)^{1/\gamma }}

Beachten Sie, dass die Gammakorrektur nur auf die Farbkanäle angewendet wird. Der Alphakanal ist immer linear.

Obwohl sie aus ähnlichen Gründen verwendet werden, verhindern transparente Farben und Bildmasken das nahtlose Mischen von überlagerten Bildpixeln mit Hintergrundpixeln (nur ganze Bildpixel oder ganze Hintergrundpixel erlaubt).

Ein ähnlicher Effekt kann mit einem 1-Bit-Alphakanal erzielt werden, wie er im 16-Bit-RGBA-High-Color-Modus des Truevision-TGA-Bilddateiformats und im High-Color-Grafikmodus der entsprechenden TARGA- und AT-Vista/NU-Vista-Grafikkarten zu finden ist. In diesem Modus werden jeder der drei primären RGB-Farben (15-Bit-RGB) 5 Bit sowie ein Bit für den Alphakanal zugewiesen.

Wenn nur 1-Bit-Alpha verfügbar ist, kann die Bildschirmtürtransparenz eine teilweise Okklusion imitieren.

Ein einzelner Alphakanal ist für einige Anwendungen nicht ausreichend. Ein Buntglasfenster benötigt beispielsweise einen eigenen Transparenzkanal für jeden RGB-Kanal, um die Transparenz von Rot, Grün und Blau unabhängig voneinander zu simulieren. Für präzise Farbfilteranwendungen im Spektrum können zusätzliche Alphakanäle hinzugefügt werden.

Einige ordnungsunabhängige Transparenzmethoden ersetzen den over-Operator durch eine Näherung, die kommutativ ist.

{Ende Kapitel 1}

Kapitel 2: Digitales Compositing

Digitales Compositing ist die Technik, bei der zahlreiche Bilder digital integriert werden, um ein fertiges Bild zu erstellen, oft für Druck, Film oder Projektion auf einer Leinwand. Dieses Verfahren ist das digitale Äquivalent zum optischen Film-Compositing.

Alpha-Blending ist das grundlegende Verfahren beim digitalen Compositing, wenn ein Deckkraftwert α das Verhältnis zwischen zwei Eingabepixelwerten steuert, die zu einem einzelnen Ausgabepixel führen.

Nehmen wir zur einfachen Veranschaulichung an, dass zwei Fotos in identischer Größe für das Compositing bereitgestellt werden. Die Eingabebilder werden als Vordergrundbild bzw. Hintergrundbild bezeichnet. Jedes Bild enthält die gleiche Anzahl von Pixeln. Das zusammengesetzte Bild ist das Ergebnis der mathematischen Zusammenführung von Informationen aus den übereinstimmenden Pixeln der beiden Eingabebilder und der Erfassung des Ergebnisses als drittes Bild.

Denken Sie an drei Pixel; f steht für ein Vordergrundpixel.

A Hintergrundpixel, B Vordergrundpixel

c ist ein zusammengesetztes Pixel.

und

α, Der Wert der Deckkraft des Vordergrundpixels.

(α = 1 für einen undurchsichtigen Vordergrund, α = 0 für einen vollständig transparenten Vordergrund).

Eine Maske ist ein monochromes Rasterbild, bei dem die Pixelwerte als Alphawerte zu interpretieren sind.

Unter Berücksichtigung aller drei Farbkanäle und unter der Annahme, dass die Farbkanäle in einem γ=1 Farbraum ausgedrückt werden (d.h. die beobachteten Mengen sind