Segmentation rapide d'objets vidéo guidée par l'utilisateur grâce aux réseaux d'interaction et de propagation

Nous présentons une méthode d'apprentissage profond pour la segmentation interactive d'objets vidéo. Notre méthode repose sur deux opérations fondamentales : l'interaction et la propagation, chacune étant réalisée par des Réseaux de Neurones Convolutifs (Convolutional Neural Networks). Les deux réseaux sont connectés à la fois internement et externement, ce qui permet une formation conjointe et une interaction mutuelle pour résoudre le problème complexe de segmentation d'objets vidéo. Nous proposons un nouveau schéma de formation en plusieurs tours pour la segmentation interactive d'objets vidéo, afin que les réseaux puissent apprendre à comprendre l'intention de l'utilisateur et à corriger les estimations erronées au cours de la formation. Lors des tests, notre méthode produit des résultats de haute qualité et fonctionne suffisamment rapidement pour interagir avec les utilisateurs en temps réel. Nous avons évalué la méthode proposée de manière quantitative sur le banc d'essai du parcours interactif du Défi DAVIS 2018. Nous avons surpassé les autres méthodes concurrentes avec une marge significative tant en termes de vitesse que de précision. Nous avons également démontré que notre méthode fonctionne bien avec des interactions réelles d'utilisateurs.