Erweiterte Realität: Erkundung der Grenzen von Computer Vision in Augmented Reality

Von Fouad Sabry

Was ist Erweiterte Realität?

Erweiterte Realität (AR) ist ein interaktives Erlebnis, das die reale Welt und computergenerierte Inhalte kombiniert. Der Inhalt kann mehrere Sinnesmodalitäten umfassen, darunter visuelle, akustische, haptische, somatosensorische und olfaktorische. AR kann als ein System definiert werden, das drei grundlegende Funktionen umfasst: eine Kombination aus realen und virtuellen Welten, Echtzeitinteraktion und genaue 3D-Registrierung virtueller und realer Objekte. Die überlagerten Sinnesinformationen können konstruktiv oder destruktiv sein. Damit ist sie eine der Schlüsseltechnologien im Realitäts-Virtualitäts-Kontinuum.

Wie Sie davon profitieren

(I) Erkenntnisse und Validierungen zu den folgenden Themen:

Kapitel 1: Erweiterte Realität

Kapitel 2: Virtuelle Realität

Kapitel 3: Tragbarer Computer

Kapitel 4: Computervermittelte Realität

Kapitel 5: Gemischte Realität

Kapitel 6: Head-Mounted-Display

Kapitel 7: Projektionserweitertes Modell

Kapitel 8: 3D-Benutzerinteraktion

Kapitel 9: Erweitertes Lernen

Kapitel 10: Datenbrillen

(II) Beantwortung der wichtigsten öffentlichen Fragen zu Augmented Reality.

(III) Beispiele aus der Praxis für den Einsatz von Augmented Reality in vielen Bereichen.

Für wen dieses Buch ist

Fachleute, Studenten und Doktoranden, Enthusiasten, Hobbyisten und diejenigen, die über grundlegende Kenntnisse oder Informationen für jede Art von Augmented Reality hinausgehen möchten.

• Sprache: Deutsch
• Herausgeber: Eine Milliarde Sachkundig [German]
• Erscheinungsdatum: 15. Mai 2024

Buchvorschau

Kapitel 1: Erweiterte Realität

Augmented Reality (AR) ist eine interaktive Erfahrung einer realen Umgebung, in der die Objekte, die sich in der realen Welt befinden, durch computergenerierte Wahrnehmungsinformationen verbessert werden. Diese Verbesserung kann manchmal über mehrere sensorische Modalitäten hinweg stattfinden, einschließlich visueller, auditischer, haptischer, somatosensorischer und olfaktorischer Modalitäten. Augmented Reality (AR) wird auch als Mixed Reality (MR) bezeichnet. Mixed Reality und computervermittelte Realität sind mit Augmented Reality verknüpft, die Konzepte sind jedoch meist gleichwertig.

Der wichtigste Vorteil von Augmented Reality ist die Art und Weise, wie Elemente der digitalen Welt in die Wahrnehmung der realen Welt integriert werden. Dies wird nicht durch die einfache Präsentation von Daten erreicht, sondern durch die Einbeziehung immersiver Empfindungen, die als natürlicher Bestandteil einer Umgebung erlebt werden. Beginnend im Jahr 1992 mit der Entwicklung des Virtual Fixtures-Systems am Armstrong Laboratory der United States Air Force wurden in den frühen 1990er Jahren die frühen funktionalen Augmented-Reality-Systeme (AR) erfunden, die den Benutzern immersive Mixed-Reality-Erlebnisse boten. Virtual Fixtures war das erste seiner Art. Das Sammeln und Verbreiten von implizitem Wissen ist ein weiterer Bereich, in dem Augmented Reality viele ungenutzte Potenziale hat. In den meisten Fällen werden Erweiterungsverfahren in Echtzeit und in semantischen Kontexten mit verschiedenen Teilen der Umgebung durchgeführt. Manchmal können zusätzliche Informationen, wie z. B. Ergebnisse, über einen Live-Videostream eines Sportereignisses gelegt werden. Dies geschieht, damit die Zuschauer das volle immersive Erlebnis erhalten. Dies vereint die Vorteile von Augmented-Reality-Technologie und Heads-up-Display-Technologie in einem praktischen Paket (HUD).

Die Eindrücke der Nutzer von ihrer Umgebung in einer Virtual-Reality-Umgebung (VR) werden vollständig aus den Daten des Systems gebildet. Die Sicht des Benutzers auf die Realität wird durch den Einsatz von Augmented Reality (AR) verbessert, bei der dem Benutzer zusätzliche Daten präsentiert werden, die von einem Computer erstellt und in Daten eingebettet wurden, die aus der realen Welt stammen.

CPU, Display, Sensoren und Eingabegeräte sind die wesentlichen Hardwareteile für ein Augmented-Reality-Erlebnis. Diese Elemente, zu denen oft eine Kamera und MEMS-Sensoren (Microelectromechanical Systems) wie ein Beschleunigungsmesser, GPS und ein Festkörperkompass gehören, machen moderne mobile Computergeräte wie Smartphones und Tablet-Computer zu geeigneten Augmented-Reality-Plattformen (AR). Beispiele für solche Geräte sind Smartphones und Tablet-Computer. Diffraktive Wellenleiter und reflektierende Wellenleiter sind die beiden Arten von Wellenleitern, die im Prozess der Augmented Reality verwendet werden.

Das Rendering in Augmented Reality nutzt eine Vielzahl von Technologien, wie z. B. optische Projektionssysteme, Displays, mobile Geräte und Anzeigesysteme, die am menschlichen Körper getragen werden.

Ein Head-Mounted-Display, oft auch als HMD bezeichnet, ist ein Anzeigegerät, das auf der Stirn getragen wird und an einem Gurt oder einem Helm befestigt werden kann. HMDs sind Hardwareteile, die das Sichtfeld des Benutzers mit Bildern sowohl der realen Welt als auch virtueller Dinge überlagern. In den heutigen HMDs werden Sensoren häufig für die Überwachung mit sechs Freiheitsgraden verwendet, die es dem System ermöglichen, virtuelle Informationen an die reale Umgebung anzupassen und sich als Reaktion auf die Kopfbewegungen des Benutzers zu ändern.

Displays von Augmented Reality (AR) können auf Geräten erzeugt werden, die wie Brillen aussehen. Brillen in bestimmten Versionen sind mit Kameras ausgestattet, die den Blick auf die reale Welt abfangen und über die Okulare eine verbesserte Version dieser Vision anzeigen.

Ein Head-up-Display, manchmal auch als HUD bezeichnet, ist eine Art durchsichtiges Display, das den Benutzern Daten liefert, ohne dass sie ihren Blick von ihrer normalen Ansicht ablenken müssen. Heads-up-Displays wurden ursprünglich in den 1950er Jahren für Piloten als frühe Form der Technologie entwickelt, die später als Augmented Reality bekannt wurde. Diese Displays projizieren grundlegende Flugdaten in das Sichtfeld des Piloten, so dass er den Kopf oben halten kann, anstatt auf die Instrumente zu schauen. Da sie in der Lage sind, Daten, Informationen und Bilder gleichzeitig mit der Sicht des Benutzers auf die reale Welt anzuzeigen, haben Near-Eye-Augmented-Reality-Geräte das Potenzial, als tragbare Head-up-Displays zu dienen. Viele Definitionen von Augmented Reality konzentrieren sich nur auf das Konzept der Überlagerung digitaler Informationen über die physische Welt.

Die Entwicklung von Kontaktlinsen, die Augmented-Reality-Bilder zeigen können, ist jetzt ein Schwerpunkt. Diese bionischen Kontaktlinsen können Display-Funktionen enthalten, die in die Linse selbst implantiert sind, wie z. B. integrierte Elektronik, LEDs und eine Antenne für drahtlose Konnektivität. Dadurch könnten die Linsen als Displays fungieren. 1999 erhielt Steve Mann ein Patent für das erste Kontaktlinsendisplay. Das Gerät sollte in Verbindung mit Augmented-Reality-Brillen verwendet werden, das Projekt wurde jedoch letztendlich verworfen. Die Benutzeroberfläche ist so konzipiert, dass sie vom Benutzer durch einfaches Blinzeln mit den Augen gesteuert werden kann. Darüber hinaus ist es so konzipiert, dass es mit dem Smartphone des Benutzers verbunden werden kann, um aufgezeichnete Videos anzusehen und es unabhängig zu bedienen. Für den Fall, dass das Projekt ein Erfolg war, würde das Objektiv eine Kamera oder einen Sensor enthalten. Es wurde spekuliert, dass es alles sein könnte, von einem Sensor, der Licht erkennt, bis hin zu einem, der die Temperatur erkennt.

Mojo Vision produzierte den ersten öffentlich veröffentlichten funktionierenden Prototyp einer Augmented-Reality-Kontaktlinse, die in Verbindung damit keine Brille benötigt, und das Unternehmen kündigte die Linse auf der CES 2020 an und demonstrierte sie.

Unter der Leitung von Dr. Thomas A. Furness III arbeitet das Human Interface Technology Laboratory an der University of Washington an der Entwicklung eines persönlichen Anzeigegeräts, das als virtuelles Netzhautdisplay (VRD) bekannt ist. Patienten mit Makuladegeneration (eine Erkrankung, die die Netzhaut degeneriert) oder Keratokonus wurden ausgewählt, um Bilder mit der Technologie in einem der Tests zu sehen. Dies geschah, damit die Patienten die Ergebnisse des Tests besser verstehen konnten. In der Makuladegenerationsgruppe bevorzugten fünf von acht Patienten die VRD-Bilder gegenüber der Kathodenstrahlröhre (CRT) oder Papierbildern. Diese Patienten waren der Meinung, dass die VRD-Bilder in Qualität und Helligkeit überlegen waren, und sie konnten Auflösungsstufen sehen, die denen der CRT- oder Papierbilder entsprachen oder höher waren. Im Vergleich zu ihrer eigenen Korrektur konnten alle Patienten mit Keratokonus kleinere Linien in einer Reihe verschiedener Linientests mit dem VRD auflösen. Darüber hinaus entdeckten sie, dass die VRD-Bilder schärfer und einfacher zu untersuchen waren. Als Folge dieser vielen Untersuchungen wurde festgestellt, dass die Technik der virtuellen Netzhautdarstellung sicher ist.

Das virtuelle Netzhautdisplay zeigt Bilder an, die sowohl bei natürlichem Tageslicht als auch bei künstlicher Beleuchtung eines Raums sichtbar sind. Aufgrund der hohen Auflösung, des hohen Kontrasts und der hohen Helligkeit des VRD ist es eine führende Option für den Einsatz in chirurgischen Displays. Dies macht es zu einer bevorzugten Wahl für den Einsatz in chirurgischen Displays. Zusätzliche Tests deuten darauf hin, dass es für Menschen mit eingeschränktem Sehvermögen eine erhebliche Möglichkeit gibt, von der Verwendung von VRD als Display-Technologie zu profitieren.

Der EyeTap, auch bekannt als Generation-2 Glass, ist eine tragbare Technologie, die es dem Benutzer ermöglicht, Lichtstrahlen einzufangen, die normalerweise durch die Pupille seines Auges in der optischen Mitte gehen würden, und dann jeden eingefangenen natürlichen Lichtstrahl durch einen künstlichen computergesteuerten Lichtstrahl zu ersetzen.

Das Glas der vierten Generation

Ein Handheld-Display ist ein Display, das ein winziges Display verwendet, das in der Hand des Benutzers gehalten werden kann. Bis heute nutzt jede tragbare Augmented-Reality-Lösung durchsichtiges Video. Ursprünglich wurden Passermarken für tragbare Augmented Reality verwendet, Ohne dass spezielle Displays wie Monitore, Head-Mounted-Displays oder Handheld-Geräte erforderlich sind, kann Projection Mapping reale Objekte und Situationen mit Augmented-Reality-Inhalten verbessern. Beim Projection Mapping werden digitale Projektoren verwendet, um grafische Informationen auf realen Objekten anzuzeigen. Die Benutzer des Systems sind physisch vom Display getrennt, was der Hauptunterschied zwischen Projection Mapping und anderen Methoden ist. Da die Displays nicht mit jedem einzelnen Benutzer verbunden sind, skaliert das Projection Mapping organisch auf Benutzergruppen, sodass Benutzer zusammenarbeiten können, während sie sich physisch im selben Raum befinden.

Beispiele sind Shader-Leuchten, mobile Projektoren, virtuelle Tische und intelligente Projektoren. Durch die Projektion von Bildern auf leblose Dinge erzeugen Shader-Lichter eine Illusion, die sowohl realistisch als auch erweitert ist. Dies ermöglicht es, das Aussehen des Artikels zu verbessern, indem Komponenten verwendet werden, die Teil einer einfachen Einheit sind, wie z. B. Projektor, Kamera und Sensor.

Tischvorsprünge und Wandvorsprünge sind zwei weitere Verwendungszwecke. Strahlteilerspiegel, die in einem einstellbaren Winkel mit der Decke verbunden sind, werden in einer Erfindung verwendet, die als erweiterter virtueller Tisch bekannt ist. Diese Tabelle wird verwendet, um zwischen der virtuellen und der realen Welt zu unterscheiden. Eine interaktive Möglichkeit, sich sowohl mit der virtuellen als auch mit der realen Welt auseinanderzusetzen, bieten virtuelle Showcases. Diese Vitrinen verwenden Strahlteilerspiegel in Verbindung mit mehreren grafischen Displays, um die Umgebung zu schaffen. Die räumliche Augmented-Reality-Darstellung wird zu einer immer attraktiveren interaktiven Option, da immer mehr Implementierungen und Konfigurationen zur Verfügung stehen.

Ein Projection-Mapping-System kann gleichzeitig Inhalte auf einer unbegrenzten Anzahl von Oberflächen innerhalb eines Gebäudes anzeigen. Die Endnutzer können mit Hilfe von Projection Mapping sowohl eine grafische Darstellung als auch einen passiven haptischen Sinn erleben. Benutzer erhalten die Möglichkeit, haptische Empfindungen passiv zu erleben, indem sie greifbare Gegenstände über ein Verfahren berühren.

Moderne mobile Augmented-Reality-Systeme nutzen eine oder mehrere der hier aufgeführten Bewegungsverfolgungstechnologien: Digitalkameras und/oder andere optische Sensoren; Beschleunigungsmesser; globale Positionierungssysteme; Gyroskope; Festkörper-Kompasse; Radiofrequenz-Identifikation; und so weiter (RFID). Mit diesen verschiedenen Methoden können unterschiedliche Genauigkeitsgrade und