Segmentation Interactive d'Objets Vidéo Utilisant des Modules de Transfert Global et Local

Dans cet article, un algorithme de segmentation d'objets vidéo interactif est proposé, utilisant des annotations par griffonnages sur les objets cibles comme entrée. Nous développons un réseau neuronal profond composé de deux parties : le réseau d'annotation (A-Net) et le réseau de transfert (T-Net). Premièrement, étant donné des griffonnages utilisateur sur une image, A-Net produit un résultat de segmentation basé sur l'architecture encodeur-décodeur. Deuxièmement, T-Net transfère ce résultat de segmentation bidirectionnellement aux autres images en utilisant des modules de transfert global et local. Le module de transfert global transmet les informations de segmentation d'une image annotée à une image cible, tandis que le module de transfert local propage ces informations d'une image temporellement voisine à l'image cible.En appliquant alternativement A-Net et T-Net, l'utilisateur peut obtenir les résultats de segmentation souhaités avec un minimum d'efforts. Nous entraînons le réseau complet en deux étapes, en simulant des griffonnages utilisateur et en utilisant une perte auxiliaire. Les résultats expérimentaux montrent que l'algorithme de segmentation d'objets vidéo interactif proposé surpassent les algorithmes conventionnels les plus avancés. Les codes et modèles sont disponibles à l'adresse suivante : https://github.com/yuk6heo/IVOS-ATNet.