f-BRS : Repenser le raffinement par rétropropagation pour la segmentation interactive

Les réseaux neuronaux profonds sont devenus une approche courante pour la segmentation interactive. Comme nous le démontrons dans nos expériences, bien qu’un réseau entraîné fournisse des résultats de segmentation précis avec seulement quelques clics pour certaines images, il ne parvient pas à obtenir des résultats satisfaisants pour certains objets inconnus, même avec une grande quantité d’entrée utilisateur. Le schéma récent de raffinement par rétropropagation (BRS, backpropagating refinement scheme) introduit un problème d’optimisation pour la segmentation interactive, permettant une amélioration significative des performances dans les cas difficiles. Toutefois, BRS nécessite d’exécuter plusieurs passes avant et arrière à travers un réseau profond, ce qui entraîne un coût computationnel considérablement accru par clic par rapport aux autres méthodes. Nous proposons f-BRS (feature backpropagating refinement scheme), un schéma qui résout un problème d’optimisation par rapport à des variables auxiliaires plutôt qu’aux entrées du réseau, et qui requiert des passes avant et arrière uniquement sur une petite partie du réseau. Des expériences sur les jeux de données GrabCut, Berkeley, DAVIS et SBD établissent un nouveau record d’état de l’art, avec un temps par clic réduit d’un ordre de grandeur par rapport à BRS original. Le code et les modèles entraînés sont disponibles à l’adresse suivante : https://github.com/saic-vul/fbrs_interactive_segmentation.