Gestenerkennung: Die Sprache der Bewegung erschließen

Von Fouad Sabry

Was ist Gestenerkennung

Gestenerkennung ist ein Forschungs- und Entwicklungsbereich in der Informatik und Sprachtechnologie, der sich mit der Erkennung und Interpretation menschlicher Gesten befasst. Als Unterdisziplin der Computer Vision werden mathematische Algorithmen zur Interpretation von Gesten eingesetzt.

Wie Sie davon profitieren

(I) Einblicke und Validierungen zu den folgenden Themen :

Kapitel 1: Gestenerkennung

Kapitel 2: Zeigegerätegeste

Kapitel 3: Benutzeroberfläche

Kapitel 4: Affektive Datenverarbeitung

Kapitel 5: Handprojektor

Kapitel 6: Greifbare Benutzeroberfläche

Kapitel 7: Multimodale Interaktion

Kapitel 8: Sprachbenutzeroberfläche

Kapitel 9: Kabelgebundener Handschuh

Kapitel 10: Multi-Touch

(II) Beantwortung der häufigsten öffentlichen Fragen zur Gestenerkennung.

(III) Beispiele aus der Praxis für den Einsatz der Gestenerkennung in vielen Bereichen.

An wen sich dieses Buch richtet

Berufstätige, Studenten und Doktoranden, Enthusiasten, Hobbyisten und diejenigen, die über Grundkenntnisse oder Informationen für jede Art von Gestenerkennung hinausgehen möchten.

 

 

• Sprache: Deutsch
• Herausgeber: Eine Milliarde Sachkundig [German]
• Erscheinungsdatum: 13. Mai 2024

Buchvorschau

Kapitel 1: Gestenerkennung

Das Gebiet der Informatik und Sprachtechnologie, das als Gestenerkennung bekannt ist, hat als primäres Ziel die Interpretation menschlicher Gesten durch den Einsatz mathematischer Algorithmen. Es ist möglich, die Gestenerkennung als ein Mittel zu interpretieren, mit dem Computer beginnen können, die menschliche Körpersprache zu verstehen, und damit eine robustere Brücke zwischen Maschinen und Menschen zu schlagen als primitive Textbenutzeroberflächen oder sogar GUIs (grafische Benutzeroberflächen), die immer noch den Großteil der Eingaben auf Tastatur und Maus beschränken und ohne mechanische Geräte natürlich interagieren. Die Gestenerkennung kann als eine Möglichkeit für Computer angesehen werden, die menschliche Körpersprache zu verstehen.

Funktionen zur Erkennung von Handgesten:

Genauer

Hohe Stabilität

Reduziert die Zeit, die zum Entsperren eines Geräts benötigt wird.

Im Folgenden sind die primären Anwendungsdomänen aufgeführt, die die Gestenerkennung im vorliegenden Szenario verwenden:

Automobilindustrie

Bereich der Unterhaltungselektronik

Transit-Sektor

Gaming-Sektor

So entsperren Sie Smartphones

Verteidigung

Hausautomation

Maschinelle Übersetzung der Gebärdensprache

Gestenerkennung und Pen-Computing: Pen-Computing verringert die Auswirkungen der Hardware auf ein System und erweitert auch die Palette realer Objekte, die zur Steuerung über herkömmliche digitale Objekte wie Tastaturen und Mäuse hinaus verwendet werden können. Die Gestenerkennung ist eine weitere Anwendung des Pen-Computings. Implementierungen dieser Art könnten es ermöglichen, eine neue Klasse von Hardware zu schaffen, die keine Monitore benötigt. Dieses Konzept könnte schließlich zur Entwicklung eines holografischen Displays führen. Es ist möglich, den Begriff Gestenerkennung zu verwenden, um sich auf handschriftliche Symbole ohne Texteingabe zu beziehen, z. B. Freihandeingabe auf einem Grafiktablett, Multitouch-Gesten und Mausgestenerkennung. Diese Verwendung des Begriffs wird immer häufiger. Bei dieser Methode der Interaktion mit einem Computer werden verschiedene Symbole mit einem Zeigegerät, dem Cursor, gezeichnet. (Weitere Informationen finden Sie unter Rechnen mit Stiften)

Es gibt zwei verschiedene Kategorien von Gesten, die in Computerschnittstellen verwendet werden: Wir berücksichtigen direkte Manipulationen wie Skalieren und Drehen, die auch als Online-Gesten betrachtet werden können. Im Gegensatz dazu werden Offlinegesten verarbeitet, nachdem die Interaktion abgeschlossen ist. Das Zeichnen eines Kreises zum Aktivieren eines Kontextmenüs ist beispielsweise ein Beispiel für eine Offline-Geste.

Offlinegesten sind definiert als Gesten, die verarbeitet werden, nachdem der Benutzer mit dem Element interagiert hat, mit dem er interagiert. Ein Beispiel dafür wäre die Bewegung, mit der ein Menü geöffnet wird.

Online-Gesten: Direkte Manipulationsgesten. Sie werden bei der Größenbestimmung oder Rotation eines physischen Artikels verwendet.

Der Begriff berührungslose Benutzeroberfläche bezieht sich auf eine sich entwickelnde Technologiekategorie, die mit der Gestensteuerung verbunden ist. Der Begriff berührungslose Benutzeroberfläche (TUI) bezieht sich auf die Ausgabe von Befehlen an einen Computer durch Bewegungen und Gesten, die vom Körper des Benutzers ausgeführt werden, anstatt durch Berühren einer Tastatur, Maus oder eines Bildschirms. Aufgrund der Tatsache, dass Benutzer mit Gadgets interagieren können, ohne sie tatsächlich zu berühren, gewinnen berührungslose Schnittstellen neben der Gestensteuerung enorm an Popularität.

Diese Art von Schnittstelle wird von einer Vielzahl verschiedener Arten von Hardware verwendet, darunter Mobiltelefone, Computer, Videospielkonsolen, Fernseher und Musikgeräte.

Eine Art berührungslose Schnittstelle nutzt die Bluetooth-Verbindung eines Smartphones, um das Besuchermanagementsystem eines Unternehmens zu aktivieren. Diese Art von Schnittstelle wird immer beliebter. Während der COVID-19-Pandemie entfällt dadurch die Notwendigkeit, physisch mit irgendwelchen Schnittstellen zu interagieren.

Mehrere verschiedene Technologien können verwendet werden, um die Aufgabe zu erfüllen, die Bewegungen einer Person zu verfolgen und die möglichen Gesten zu identifizieren, die sie auszuführen versucht. Kinetische Benutzeroberflächen, oft als KUIs bezeichnet, sind eine aufstrebende Kategorie von Benutzeroberflächen, die es Benutzern ermöglichen, mit Computergeräten zu interagieren, indem sie ihren Körper oder die Dinge um sie herum bewegen. Greifbare Benutzeroberflächen und bewegungsbewusste Videospiele, wie sie auf der Wii und Microsofts Kinect zu sehen sind, sowie andere Arten von interaktiven Projekten sind einige Beispiele für KUIs.

Es wurde eine beträchtliche Menge an Forschung zur bild- und videobasierten Gestenerkennung durchgeführt; Die Tools und Umgebungen, die von verschiedenen Implementierungen dieser Technologie verwendet werden, sind jedoch nicht identisch.

Handschuhe mit Drähten. Durch die Verwendung von magnetischen oder Trägheitsverfolgungssensoren können diese dem Computer Eingaben über die Position der Hände sowie die Drehung der Hände liefern. Darüber hinaus können einige Handschuhe mit hoher Präzision (zwischen 5 und 10 Grad) erkennen, inwieweit sich die Finger des Benutzers gebeugt haben, und einige können dem Benutzer sogar ein haptisches Feedback geben, das eine Simulation des Tastgefühls darstellt. Der DataGlove war das erste handschuhartige Hand-Tracking-Gerät, das für den kommerziellen Verkauf angeboten wurde. Es war in der Lage, Handposition, Bewegung und Fingerbeugung zu erkennen, und es wurde wie ein Handschuh getragen. Dabei werden Drähte aus Glasfasern verwendet, die über den Handrücken verlaufen. Lichtimpulse werden erzeugt, und wenn die Finger gebogen werden, entweicht Licht durch winzige Risse; Dieser Lichtverlust wird erkannt und eine Schätzung der Handposition erhalten.

Kameras mit einem Gefühl von Tiefe. Man ist in der Lage, eine Tiefenkarte dessen zu erstellen, was über die Kamera auf kurze Distanz gesehen wird, wenn man spezielle Kameras wie strukturiertes Licht oder Time-of-Flight-Kameras verwendet. Man kann diese Daten dann verwenden, um eine 3D-Darstellung des Gesehenen zu erstellen. Aufgrund ihrer Fähigkeiten für kurze Entfernungen haben sie das Potenzial, für die Erkennung von Handbewegungen nützlich zu sein.

Stereokameras. Die Ausgabe zweier Kameras, deren Beziehungen zueinander bereits hergestellt sind, kann verwendet werden, um eine dreidimensionale Darstellung der Szene zu approximieren. Man kann eine Positionsreferenz verwenden, wie z. B. einen Lexikerstreifen oder Infrarotstrahler, um die Beziehungen zwischen den Kameras zu bestimmen. In Verbindung mit der direkten Bewegungsmessung (6D-Vision) ist es möglich, Gesten sofort zu erkennen.

Controller, die auf Gesten basieren. Da sich diese Controller so anfühlen, dass sie sich wie eine Verlängerung des Körpers des Benutzers anfühlen, ermöglichen sie es, dass ein Teil der Bewegung des Benutzers einfach von der Software aufgezeichnet werden kann, wenn der Benutzer Gesten ausführt. Der Einsatz von Skeletthand-Tracking, das derzeit für den Einsatz in Anwendungen wie Virtual Reality und Augmented Reality entwickelt wird, ist ein Beispiel für die kommende gestenbasierte Motion-Capture-Technik. Benutzer können ohne Steuerung mit ihrer Umgebung interagieren, wie die Tracking-Unternehmen uSens und Gestigon zeigen, die Beispiele für diese Technologie in Aktion sind.

Wi-Fi-Sensorik, aber es hat auch Anwendungen in anderen Bereichen.