Speech Prompted Semantic Segmentation

La Segmentation Sémantique Commandée par la Parole est une sous-tâche dans le domaine de la vision par ordinateur qui vise à prédire les régions de segmentation sémantique dans les images en analysant les catégories ou noms de segments mentionnés dans la voix du locuteur. Cette technologie combine le traitement des signaux audio avec la reconnaissance d'images, permettant la fusion d'informations inter-modales et améliorant la précision et la robustesse de la compréhension des images. Elle offre de nombreuses perspectives d'application, notamment pour aider les personnes malvoyantes à comprendre et à interagir avec leur environnement, ainsi que pour la reconnaissance et l'annotation d'objets dans les technologies de réalité augmentée.