Une équipe de chercheurs de l’Université Penn State a développé une application mobile alimentée par l’intelligence artificielle (IA), baptisée NaviSense, destinée à aider les personnes aveugles ou malvoyantes à localiser des objets dans leur environnement en temps réel. Contrairement aux systèmes existants, souvent limités par des modèles préchargés ou la nécessité d’un accompagnement humain, NaviSense utilise des modèles de langage à grande échelle (LLM) et des modèles vision-langage (VLM) connectés à un serveur externe. Cette architecture permet à l’application de reconnaître des objets en réponse à des commandes vocales sans avoir besoin de précharger des fichiers d’objets, offrant ainsi une flexibilité inédite. Le projet s’est appuyé sur des entretiens approfondis menés avec des personnes aveugles, afin d’identifier leurs besoins réels. Ces retours ont guidé le développement d’une fonctionnalité clé : la navigation par voix, qui non seulement localise un objet, mais interagit de manière conversationnelle. Si la requête n’est pas claire, l’application pose des questions complémentaires pour affiner la recherche. Un autre atout majeur est la détection en temps réel du mouvement de la main de l’utilisateur grâce au suivi du téléphone, permettant de fournir des indications précises sur la position relative de l’objet (gauche/droite, haut/bas), comme un guide tactile invisible. Lors d’essais contrôlés avec 12 participants, NaviSense a surpassé deux solutions commerciales en termes de rapidité de détection, d’exactitude et d’expérience utilisateur. Les utilisateurs ont particulièrement apprécié les retours audio et vibratoires précis, ainsi que la capacité à être guidés jusqu’à l’objet sans avoir à le chercher activement. Une participant a ainsi souligné : « Il me donne des indices sur la position de l’objet, gauche ou droite, haut ou bas, et hop, c’est trouvé. » Présenté à la conférence ACM SIGACCESS ASSETS '25 à Denver, le projet a remporté le prix du meilleur poster choisi par le public. Bien que déjà performant, l’équipe travaille à optimiser la consommation énergétique de l’application pour réduire la décharge de la batterie du smartphone, ainsi qu’à améliorer l’efficacité des modèles d’IA. Selon Vijaykrishnan Narayanan, chef de l’équipe, la technologie est proche du lancement commercial, et les retours des tests permettront d’affiner davantage l’outil pour répondre aux attentes de la communauté handicapée. NaviSense représente une avancée significative vers des outils d’assistance plus intelligents, autonomes et humainement conçus, marquant une étape vers une accessibilité numérique plus inclusive. Source : Ajay Narayanan Sridhar et al., NaviSense: A Multimodal Assistive Mobile application for Object Retrieval by Persons with Visual Impairment, Proceedings of the 27th International ACM SIGACCESS Conference on Computers and Accessibility (2025).