Ein Team der Pennsylvania State University hat eine künstliche Intelligenz (KI)-basierte Smartphone-Anwendung namens NaviSense entwickelt, die Menschen mit Sehbehinderung dabei unterstützt, Gegenstände in Echtzeit zu finden und zu greifen. Im Gegensatz zu bisherigen Hilfssystemen, die oft auf vorgefertigte Objektmodelle angewiesen sind oder externe Unterstützung erfordern, nutzt NaviSense moderne Sprach- und Visionssysteme – insbesondere große Sprachmodelle (LLMs) und visuelle Sprachmodelle (VLMs) –, um Objekte in der Umgebung anhand von Sprachbefehlen zu erkennen, ohne dass diese vorher in das System geladen werden müssen. Die App kommuniziert mit einem externen Server, der die KI-Modelle hostet, und verarbeitet Eingaben in Echtzeit, wodurch sie flexibel und anpassungsfähig ist. Ein zentrales Merkmal ist die präzise Handpositionserkennung: Die App verfolgt mithilfe des Smartphones die Bewegung der Hand und gibt über Audio- und Vibrationssignale Rückmeldungen, ob ein Objekt rechts, links, oben oder unten liegt – ein Feature, das in vorherigen Systemen fehlte und von Testpersonen als besonders wertvoll erachtet wurde. Die Entwicklung basierte auf umfangreichen Interviews mit Menschen mit Sehbehinderung, die die tatsächlichen Herausforderungen im Alltag identifizierten. In einer Studie mit 12 Teilnehmern zeigte NaviSense deutlich bessere Leistung als zwei kommerzielle Alternativen: Es benötigte weniger Zeit, um Objekte zu lokalisieren, war genauer in der Erkennung und wurde von den Nutzern als intuitiver und benutzerfreundlicher bewertet. Ein Teilnehmer beschrieb die Erfahrung als „bullseye, boom, you got it“. Die Ergebnisse wurden auf der ACM SIGACCESS ASSETS '25-Konferenz in Denver präsentiert und erhielten den „Best Audience Choice Poster Award“. Die Forscher arbeiten nun daran, die Energieeffizienz der App zu verbessern, um den Akkuverbrauch auf Smartphones zu senken, und die Effizienz der KI-Modelle weiter zu optimieren. Laut Vijaykrishnan Narayanan, Leiter des Forschungsteams, ist die Technologie bereits nahe an einer kommerziellen Markteinführung. Mit den Erkenntnissen aus Tests und früheren Prototypen will das Team sicherstellen, dass NaviSense nicht nur technisch fortschrittlich, sondern auch zugänglich und praktisch nutzbar für die Zielgruppe ist. Industrieexperten loben die Innovation als bedeutenden Schritt hin zu selbstständigerem Leben für Menschen mit Sehbehinderung. Die Kombination aus kontextsensitiver Sprachinteraktion, multimodaler Rückmeldung und aktiver Handführung stellt einen Paradigmenwechsel gegenüber herkömmlichen Navigationstools dar. NaviSense demonstriert, wie KI-Systeme nicht nur informieren, sondern physisch unterstützen können – ein entscheidender Fortschritt für barrierefreie Technologien. Die Forschung ist ein Beispiel dafür, wie benutzerzentrierte Entwicklung und fortschrittliche KI gemeinsam innovative Lösungen schaffen können.