Traitement du mouvement comme option avec sélection de sortie pour la segmentation d'objets vidéo non supervisée

La segmentation d'objets vidéo non supervisée vise à détecter l'objet le plus saillant dans une vidéo sans aucune indication externe concernant l'objet. Les objets saillants présentent souvent des mouvements distinctifs par rapport au fond, et les méthodes récentes exploitent cela en combinant des indices de mouvement issus des cartes de flux optique avec des indices d'apparence provenant des images RGB. Cependant, comme les cartes de flux optique sont souvent fortement corrélées aux masques de segmentation, les réseaux peuvent devenir excessivement dépendants des indices de mouvement pendant l'entraînement, ce qui les rend vulnérables face à des indices de mouvement trompeurs et entraîne des prédictions instables. Pour relever ce défi, nous proposons un nouveau réseau « motion-as-option » (mouvement-en-option) qui traite les indices de mouvement comme un composant optionnel plutôt qu'obligatoire. Pendant l'entraînement, nous introduisons aléatoirement des images RGB dans l'encodeur de mouvement au lieu des cartes de flux optique, ce qui réduit implicitement la dépendance du réseau aux indices de mouvement. Cette conception garantit que l'encodeur de mouvement est capable de traiter à la fois des images RGB et des cartes de flux optique, conduisant ainsi à deux prédictions distinctes selon le type d'entrée fourni. Pour tirer pleinement parti de cette flexibilité, nous introduisons un algorithme d'adaptation pour la sélection de sortie qui détermine la prédiction optimale lors du test.