HIDA : Vers une compréhension holistique de l’environnement intérieur pour les personnes aveugles grâce à la segmentation d’instances sémantiques à l’aide d’un capteur LiDAR solide portatif

Explorer indépendamment des espaces inconnus ou localiser des objets dans un environnement intérieur constitue une tâche quotidienne mais complexe pour les personnes aveugles ou malvoyantes. Toutefois, les systèmes d’aide traditionnels basés sur des représentations 2D manquent de relations de profondeur entre les différents objets, ce qui rend difficile l’acquisition d’une structure spatiale précise ainsi que des positions relatives des objets. Pour relever ces défis, nous proposons HIDA, un système d’assistance léger fondé sur la segmentation d’instances de nuages de points 3D, intégrant un capteur LiDAR à état solide, destiné à la détection et à l’évitement holistiques dans les environnements intérieurs. Notre système complet se compose de trois composants matériels, de deux fonctions interactives (évitements d’obstacles et recherche d’objets) ainsi qu’une interface vocale. Grâce à une guidance vocale, le nuage de points issu de l’état actuel de l’environnement intérieur en évolution est capturé par un balayage local effectué par l’utilisateur. Par ailleurs, nous avons conçu un modèle de segmentation de nuages de points utilisant deux décodeurs légers en parallèle pour la prédiction sémantique et les décalages, assurant ainsi l’efficacité globale du système. Après la segmentation d’instances 3D, un post-traitement est appliqué au nuage de points segmenté : suppression des points aberrants et projection de tous les points sur une représentation 2D en vue de dessus. Le système intègre ces informations et interagit de manière intuitive avec l’utilisateur via un retour acoustique. Le modèle de segmentation d’instances 3D proposé atteint des performances de pointe sur le jeu de données ScanNet v2. Des tests terrain approfondis, menés dans le cadre d’une étude utilisateur impliquant diverses tâches, confirment la faisabilité et l’efficacité de notre système pour aider les personnes aveugles ou malvoyantes à comprendre holistiquement l’environnement intérieur, éviter les obstacles et rechercher des objets.