Segmentation à partir d'expressions en langage naturel

Dans cet article, nous abordons le problème novateur de la segmentation d'une image basée sur une expression en langage naturel. Cette approche diffère de la segmentation sémantique traditionnelle sur un ensemble prédéfini de classes sémantiques, par exemple, la phrase « deux hommes assis sur le banc de droite » nécessite de segmenter uniquement les deux personnes sur le banc de droite et non celles debout ou assises sur un autre banc. Les méthodes précédentes adaptées à cette tâche étaient limitées à un ensemble fixe de catégories et/ou à des régions rectangulaires. Pour générer une segmentation au niveau des pixels à partir de l'expression linguistique, nous proposons un modèle de réseau neuronal récurrent et convolutif formable bout-à-bout qui apprend conjointement à traiter les informations visuelles et linguistiques. Dans notre modèle, un réseau LSTM récurrent est utilisé pour encoder l'expression référentielle dans une représentation vectorielle, tandis qu'un réseau entièrement convolutif est utilisé pour extraire une carte de caractéristiques spatiales de l'image et produire une carte de réponse spatiale pour l'objet cible. Nous démontrons sur un jeu de données de référence que notre modèle peut produire des résultats de segmentation de qualité à partir d'une expression en langage naturel, surpassant largement les méthodes de base.