Raviver l'entraînement itératif avec une guidance par masque pour la segmentation interactive

Les travaux récents sur la segmentation interactive basée sur les clics ont démontré des résultats de pointe en utilisant diverses méthodes d'optimisation à l'inference. Ces approches sont considérablement plus coûteuses en termes de calcul par rapport aux méthodes feedforward, car elles nécessitent des passages rétrogrades à travers le réseau pendant l'inference, ce qui les rend difficiles à déployer sur des frameworks mobiles, qui supportent généralement uniquement les passes avant. Dans ce papier, nous évaluons de manière exhaustive différentes choix de conception pour la segmentation interactive et découvrons qu’il est possible d’obtenir de nouveaux résultats de pointe sans recourir à des schémas d’optimisation supplémentaires. Nous proposons donc un modèle simple à passage avant pour la segmentation interactive basée sur les clics, qui utilise les masques de segmentation des étapes précédentes. Ce modèle permet non seulement de segmenter un nouvel objet entièrement, mais aussi de commencer avec un masque externe et de le corriger. En analysant les performances des modèles entraînés sur différents jeux de données, nous constatons que le choix du jeu de données d’entraînement a un impact majeur sur la qualité de la segmentation interactive. Nous observons que les modèles entraînés sur une combinaison de COCO et LVIS, avec des annotations diversifiées et de haute qualité, surpassent tous les modèles existants. Le code source et les modèles entraînés sont disponibles à l’adresse suivante : https://github.com/saic-vul/ritm_interactive_segmentation.