GesturePod: On-device-Gestenbasierte Interaktion für Blindenstöcke ermöglichen

Menschen mit Sehbehinderung, die einen weißen Stock zur Orientierung nutzen, finden es herausfordernd, gleichzeitig auf Geräte wie Smartphones zuzugreifen. Aufbauend auf vorherige Forschung zum Verzicht auf spezialisierte Geräte untersuchen wir einen neuen, berührungslosen Interaktionsmodus, bei dem eine Person mit Sehbehinderung Gesten mit ihrem bestehenden weißen Stock ausführt, um Aufgaben auf ihrem Smartphone auszulösen. Wir stellen GesturePod vor, ein leicht integrierbares Gerät, das sich an jeden weißen Stock anbringen lässt und Gesten, die mit dem Stock ausgeführt werden, erkennt. Mit GesturePod kann der Nutzer alltägliche Aufgaben auf seinem Smartphone durchführen, ohne das Gerät berühren oder sogar aus der Tasche oder der Tasche zu nehmen. Wir diskutieren die Herausforderungen bei der Entwicklung des Geräts sowie unsere Designentscheidungen. Wir schlagen einen neuartigen, effizienten maschinellen Lernpipeline vor, um das Gestenerkennungsmodell zu trainieren und bereitzustellen. Eine Laborstudie zeigt, dass GesturePod eine Erkennungsgenauigkeit von 92 % erreicht und dabei hilft, alltägliche Smartphone-Aufgaben schneller zu erledigen. Eine Feldstudie lässt darauf schließen, dass GesturePod ein vielversprechendes Werkzeug zur Verbesserung des Smartphone-Zugangs für Menschen mit Sehbehinderung ist, insbesondere in anspruchsvollen Außenbereichen.