Volumen Rendern: Erforschung des Visuellen Realismus in der Computer Vision

Von Fouad Sabry

Was ist Volumen Rendern?

In der wissenschaftlichen Visualisierung und Computergrafik ist Volumenrendering eine Reihe von Techniken, mit denen eine 2D-Projektion eines diskret abgetasteten 3D-Datensatzes, typischerweise eines 3D-Skalarfelds, angezeigt wird.

Wie Sie davon profitieren

(I) Erkenntnisse und Validierungen zu den folgenden Themen:

Kapitel 1: Volumen Rendern

Kapitel 2: Rendern (Computergrafik)

Kapitel 3: Texturzuordnung

Kapitel 4: Voxel

Kapitel 5: Tomographie

Kapitel 6: Ray-Casting

Kapitel 7: Wissenschaftliche Visualisierung

Kapitel 8: Reyes-Rendering

Kapitel 9: Clipping (Computergrafik)

Kapitel 10: Volume Ray Casting

(II) Beantwortung der häufigsten öffentlichen Fragen zum Volumenrendering.

(III) Beispiele aus der Praxis für den Einsatz von Volumenrendering in vielen Bereichen.

Für wen dieses Buch ist

Fachleute, Studenten und Doktoranden, Enthusiasten, Hobbyisten und diejenigen, die über grundlegende Kenntnisse oder Informationen für jede Art von Volumenrendering hinausgehen möchten.

• Sprache: Deutsch
• Herausgeber: Eine Milliarde Sachkundig [German]
• Erscheinungsdatum: 14. Mai 2024

Buchvorschau

Kapitel 1: Volumen-Rendering

Volumen-Rendering ist eine Reihe von Techniken, die in der wissenschaftlichen Visualisierung und Computergrafik verwendet werden, um eine 2D-Projektion eines diskret abgetasteten 3D-Datensatzes, oft eines 3D-Skalarfelds, darzustellen.

Eine Sammlung von 2D-Schnittbildern, die von einem CT-, MRT- oder MicroCT-Scanner aufgenommen wurden, stellt einen typischen 3D-Datensatz dar. Typischerweise in einem regelmäßigen Muster (z. B. eine Schicht pro Millimeter Tiefe) und mit einer regelmäßigen Anzahl von Bildpixeln in einem regelmäßigen Muster aufgenommen. Dies ist ein Beispiel für ein regelmäßiges volumetrisches Gitter, in dem jedes Volumenelement oder Voxel durch einen einzelnen Wert dargestellt wird, der durch Abtasten des Bereichs unmittelbar um das Voxel herum abgeleitet wird.

Um eine 2D-Projektion einer 3D-Datensammlung zu erstellen, muss eine Kamera im Raum relativ zum Volumen definiert werden. Zusätzlich muss man die Deckkraft und Farbe jedes Voxels bestimmen. Dies wird in der Regel mit einer RGBA-Übertragungsfunktion (Rot, Grün, Blau, Alpha) definiert, die den RGBA-Wert für jeden Voxelwert angibt.

Ein Volumen kann z.B. betrachtet werden, indem Isoflächen (Flächen mit gleichen Werten) aus dem Volumen extrahiert und als polygonale Netze gezeichnet werden, oder indem das Volumen direkt als Datenblock gerendert wird. Eine typische Methode zum Extrahieren einer Isofläche aus Volumendaten ist der Marching Cubes-Algorithmus. Direktes Volumen-Rendering ist ein rechenintensiver Prozess, der auf verschiedene Arten durchgeführt werden kann.

Das Volumen-Rendering unterscheidet sich von Dünnschicht-Tomographie-Präsentationen sowie Projektionen von 3D-Modellen, wie z. B. der Projektion mit maximaler Intensität. Um realistische oder wahrnehmbare Darstellungen zu erstellen, ist es notwendig:.

Jeder Sample-Wert in einem direkten Volumen-Renderer muss auf Deckkraft und Farbe abgebildet werden. Dies wird durch die Verwendung einer Übertragungsfunktion erreicht, bei der es sich um eine einfache Rampe, eine stückweise lineare Funktion oder eine beliebige Tabelle handeln kann. Nach der Transformation in einen RGBA-Wert (für Rot, Grün, Blau und Alpha) wird die RGBA-Ausgabe auf das entsprechende Pixel des Framebuffers projiziert. Dies hängt von der verwendeten Rendering-Technik ab.

Es ist möglich, diese Techniken zu kombinieren. Beispielsweise könnte eine Scherverzerrungsimplementierung Texturierungshardware verwenden, um ausgerichtete Schichten im Off-Screen-Puffer zu rendern.

Der Volumen-Raycasting-Ansatz kann direkt aus der Rendering-Gleichung gewonnen werden. Es erzeugt extrem hochwertige Bilder und gilt in der Regel als die höchste Bildqualität. Volumen-Raycasting wird als bildbasierte Volumen-Rendering-Technik kategorisiert, da die Berechnung wie bei objektbasierten Techniken aus dem Ausgabebild und nicht aus den Eingabevolumendaten abgeleitet wird. Bei dieser Methode wird für jedes gewünschte Bildpixel ein Strahl erzeugt. Bei einem einfachen Kameramodell beginnt der Strahl im Projektionszentrum der Kamera (oft dem Augenpunkt) und durchläuft das Bildpixel auf einer künstlichen Bildebene, die zwischen der Kamera und dem zu erzeugenden Volumen schwebt. Um Zeit zu sparen, wird der Strahl an den Grenzen des Volumens abgeschnitten. Dann wird der Strahl in regelmäßigen oder adaptiven Intervallen über das gesamte Volumen abgetastet. An jeder Abtaststelle werden die Daten interpoliert, die Übertragungsfunktion wird angewendet, um ein RGBA-Abtastbild zu erzeugen, das Abtastchen wird auf das akkumulierte RGBA des Strahls zusammengesetzt und der Vorgang wird wiederholt, bis der Strahl das Volumen verlässt. Die RGBA-Farbe wird in eine RGB-Farbe umgewandelt und in dem Pixel gespeichert, das dieser Farbe entspricht. Der Vorgang wird für jedes Pixel auf dem Display wiederholt, um das endgültige Bild zu erstellen.

Bei dieser Methode wird die Qualität der Geschwindigkeit geopfert. Hier wird jedes Volumenelement in umgekehrter Reihenfolge auf die Betrachtungsfläche gespritzt, wie von Lee Westover beschrieben. Diese Spritzer werden als Scheiben mit radikal variierendem (Gaußschem) Farbton und Opazität dargestellt. Je nach Anwendung kommen auch Flachscheiben und solche mit unterschiedlichen Eigenschaftsverteilungen zum Einsatz.

Cameron und Undrill entwickelten den Scherverzerrungsansatz für das Volumen-Rendering, der von Philippe Lacroute und Marc Levoy populär gemacht wurde. Diese Technik transformiert die Anzeigetransformation so, dass die nächstgelegene Fläche des Volumens an einem Off-Screen-Bilddatenpuffer mit einer festen Voxel-zu-Pixel-Skala ausgerichtet ist. Das Volume wird dann in diesem Puffer angezeigt, wobei die Speicherausrichtung und die Skalierungs- und Mischparameter verwendet werden, die deutlich vorteilhafter sind. Sobald alle Volumen-Slices erstellt wurden, wird der Puffer in die richtige Ausrichtung verzerrt und die Größe des angezeigten Bildes geändert.

Im Vergleich zum Raycasting ist diese Technik in der Software vergleichsweise schnell, auf Kosten einer weniger genauen Abtastung und einer möglicherweise schlechteren Bildqualität. Mehrere Kopien des Volumes müssen im Speicher gespeichert werden, damit Volumes nahe an der Achse ausgerichtet werden können. Diese Belastung kann durch Lauflängencodierung reduziert werden.

Zahlreiche 3D-Grafiksysteme wenden Bilder oder Texturen über Textur-Mapping auf geometrische Objekte an. Standard-PC-Grafikkarten sind schnell texturiert und können 3D-Volumen-Slices mit Echtzeit-Interaktionsfunktionen erstellen. Workstation-GPUs sind die Grundlage für den Großteil der Visualisierung von Produktionsvolumen, die in der medizinischen Bildgebung, der Öl- und Gasindustrie und anderen Branchen verwendet werden (2007). In der Vergangenheit wurden dedizierte 3D-Textur-Mapping-Methoden auf Grafiksystemen wie Silicon Graphics InfiniteReality, HP Visualize FX und anderen verwendet. Diese Methode wurde ursprünglich von Bill Hibbard und David Santek beschrieben.

Diese Slices können am Volumen ausgerichtet und dem Betrachter in einem Winkel präsentiert werden, oder sie können an der Betrachtungsebene ausgerichtet und von nicht ausgerichteten Slices durch das Volumen abgetastet werden. Für die zweite Methode ist Grafikhardware erforderlich, die 3D-Texturen unterstützt.

Die durch volumenorientierte Texturierung erzeugten Bilder sind von akzeptabler Qualität, obwohl beim Drehen des Volumens häufig ein Übergang erkennbar ist.

Aufgrund der hochgradig parallelen Natur des direkten Volume-Renderings war spezialisierte Volume-Rendering-Hardware vor dem Aufkommen des GPU-Volume-Renderings ein beliebtes Forschungsgebiet. Das 2007 von Hanspeter Pfister und Experten der Mitsubishi Electric Research Laboratories entwickelte Echtzeit-Ray-Casting-System VolumePro war die am häufigsten genannte Technologie.

Die Verwendung moderner Grafikkarten ist eine kürzlich implementierte Methode zur Beschleunigung herkömmlicher Volume-Rendering-Algorithmen wie Raycasting. Beginnend mit programmierbaren Pixel-Shadern erkannten die Menschen die Leistungsfähigkeit paralleler Operationen auf vielen Pixeln und begannen, Allzweck-Computing auf Grafikprozessoren (GPGPU) durchzuführen. Pixel-Shader sind in der Lage, zufällig aus dem Videospeicher zu lesen und zu schreiben und bestimmte elementare mathematische und logische Operationen auszuführen. Diese SIMD-Prozessoren wurden für allgemeine Berechnungen verwendet, einschließlich Polygon-Rendering und Signalverarbeitung. Neuere GPU-Versionen ermöglichen es Pixel-Shadern, als MIMD-Prozessoren zu arbeiten (jetzt in der Lage für unabhängige Verzweigungen) mit bis zu 1 GB Texturspeicher mit Gleitkommaformaten. Mit einer solchen Verarbeitungskapazität kann nahezu jeder Algorithmus mit parallelisierbaren Phasen, wie z. B. Volumen-Raycasting oder tomographische Rekonstruktion, mit erstaunlicher Geschwindigkeit ausgeführt werden. Die programmierbaren Pixel-Shader können verwendet werden, um unter anderem Variationen in Beleuchtung, Schatten, Reflexion und emittierender Farbe zu simulieren. Mit Hilfe von High-Level-Shading-Sprachen können solche Simulationen erstellt werden.

Das Hauptziel der Optimierung ist es, so viel wie möglich von der