Gestensteuerung ist eine HMI, mit der Bewegungen des menschlichen Körpers erkannt und interpretiert werden, um mit Geräten ohne direkten Körperkontakt zu interagieren. Dank der natürlichen Form der Kommunikation findet diese Technologie in immer mehr Gebieten Einsatz.
Daumen hoch, Winken, die ausgestreckte offene Hand als Stopp-Zeichen – Gesten sind eine natürliche Form der Kommunikation für den Menschen. Dank der großen Sprünge, die die Technologie in den letzten Jahren bei Sensorik und Künstlicher Intelligenz gemacht hat, ist es heute möglich, auch Maschinen und Geräte mit Gesten zu steuern.
Den Durchbruch hatte die Technologie mit der Einführung der Wii-Konsole von Nintendo im Jahr 2007 sowie der Kinect-Bewegungssteuerung von Microsoft in 2010. Beide Lösungen wurden für den Gaming-Markt entwickelt – und auch heute noch dominiert die Unterhaltungselektronik den Markt für Gestensteuerung. Laut den Marktanalysten von Grand View Research hatte das Segment im Jahr 2022 einen Umsatzanteil von 59,4 Prozent.
Doch auch andere Branchen entdecken die Bedienung von Geräten und Maschinen per Fingerzeig für sich: So haben beispielsweise die Automobilindustrie und das Gesundheitswesen die Gestenerkennung mit Nachdruck eingeführt. Denn die Technologie ermöglicht den Nutzern eine einfache, intuitive Interaktion mit Computern und anderen Geräten. Die Covid-19-Pandemie rückte die Gestensteuerung zusätzlich in den Fokus, kann die Bedienung so doch kontaktlos und damit hygienisch erfolgen.
Markt für Gestenerkennung in 2031: 88,3 Milliarden US-Dollar
Im Jahr 2021 hatte der Markt noch ein Volumen von 13,9 Milliarden US-Dollar. Dementsprechend beträgt das erwartete durchschnittliche Wachstum des Marktes pro Jahr 20,6 Prozent
Steuerung über Wearables
Zur Erkennung der Bewegungen des Nutzers werden verschiedene Technologien eingesetzt. Eine Möglichkeit sind spezielle Wearables, also zum Beispiel Armreifen oder Ringe. Sie sind mit Bewegungssensoren ausgestattet, die die Drehrate oder die Beschleunigung des Handgelenks erfassen. Ein intelligenter Algorithmus erkennt, welche Geste ausgeführt wurde und erteilt dann den entsprechenden Befehl.
Kamerabasierte Lösungen
Eine andere Lösung sind kamerabasierte Systeme. Grundsätzlich lassen sich bereits mit 2D-Kameras Bewegungen erfassen und deuten. Allerdings fällt es den dabei eingesetzten Algorithmen schwer, Bewegungen vor dem Bildschirm korrekt zu unterscheiden – es fehlt die präzise Erfassung der Distanz als dritte Dimension. Daher werden zunehmend 3D-Kameras oder Bildsensoren für die Gestensteuerung eingesetzt. Sie sind in den letzten Jahren immer preiswerter geworden und lassen sich aufgrund ihrer geringen Größe in nahezu jedes Gerät integrieren. Diese Systeme ergänzen die 2D-Bilddaten durch Tiefeninformationen, die meist durch die sogenannten Time-of-Flight-Technologie gewonnen werden. Dabei wird die Laufzeit eines von einem Gegenstand reflektierten Lichtimpulses gemessen und daraus die Entfernung zur Kamera bestimmt. Heutige Bildsensoren erkennen nicht nur grobe Bewegungen einer Hand, sondern sogar die Bewegungen jedes einzelnen Fingers.
Erfassung per Wärmebild
Allerdings benötigen kamerabasierte Systeme eine ausreichende Beleuchtung, um Gesten sicher zu erkennen. Dieses Problem haben Infrarotsensoren nicht: sie erfassen die vom menschlichen Körper abgegebene Infrarotstrahlung (passive Sensoren) oder senden als aktive Sensoren selbst Infrarotstrahlung aus und erfassen die Reflexion. Über die entsprechenden Algorithmen analysieren sie dann die Muster und Bewegungen dieser Strahlung. Dabei können die Sensoren auch ein Tiefenbild generieren. So können verschiedene Gesten erkannt werden, je nach den vordefinierten Bewegungsmustern und Algorithmen. Dennoch sind auf Infrarotsensoren basierende Systeme eher für einfache Gesten geeignet. Da sie relativ kostengünstig sind, werden sie in vielen Industrie-, Consumer- und Automotive-Anwendungen eingesetzt.
Radar – robust und exakt
Unabhängig von den Lichtbedingungen, dazu noch resistent gegenüber Verschmutzungen und mit einem hohen Auflösungsvermögen erobert zudem zunehmend Radar das Feld der Gestensteuerung. Selbst die kleinsten Bewegungen können von einem Radargerät erkannt werden – heutige Systeme bieten eine Auflösung von nur einem Millimeter. Radarsensoren messen in Echtzeit die Geschwindigkeit, Bewegungsrichtung, die Entfernung sowie die Winkellage, um Änderungen in der Position von Objekten festzustellen. So lassen sich auch Bewegungen von Personen oder bestimmte Bewegungsmuster verfolgen und abbilden. Und wer bei Radar an die großen rotierenden Antennen auf Schiffen denkt – die für die Gestenerkennung benötigten Radarsensoren passen auf einen Mikrochip.
KI und Edge-Computing
Gleich welche Technologie zur Gestensteuerung eingesetzt wird, eine Herausforderung bleibt, dass jeder Mensch eine andere Gestik besitzt, d. h. die Ausführung variiert. Das bedeutet, dass die Systeme zahlreiche Interpretationen einer Geste erkennen müssen. Hier helfen Künstliche Intelligenz und Verfahren des Machine Learnings – mit Hilfe komplexer Signalauswertungen können Gesten eindeutig identifiziert und klassifiziert werden. Um die Sensordaten in Echtzeit verarbeiten zu können und so die für die Gerätebedienung notwendigen schnellen Reaktionszeiten zu erreichen, werden die Machine Learning-Algorithmen zunehmend lokal auf dem Chip, in der Nähe des Sensors selbst, ausgeführt – üblicherweise als „Edge“ bezeichnet.
