SynthRef : Génération d'expressions de référence synthétiques pour la segmentation d'objets

Les avancées récentes en apprentissage profond ont permis des progrès significatifs dans les tâches de localisation visuelle, telles que la segmentation d’objets vidéo guidée par le langage. Toutefois, la collecte de grands jeux de données pour ces tâches s’avère coûteuse en temps d’annotation, constituant un goulot d’étranglement. À cet effet, nous proposons une nouvelle méthode, nommée SynthRef, permettant de générer des expressions de référence synthétiques pour des objets cibles dans une image (ou une trame vidéo), et présentons ainsi, pour la première fois, un grand jeu de données largement étendu comprenant des expressions de référence synthétiques destinées à la segmentation d’objets vidéo. Nos expériences démontrent qu’en entraînant un modèle à l’aide de nos expressions de référence synthétiques, on peut améliorer sa capacité à généraliser sur différents jeux de données, sans aucun coût supplémentaire d’annotation. En outre, notre formulation est applicable à tout jeu de données de détection ou de segmentation d’objets.