Segmentation d'objets vidéo non supervisée via un réseau de mémoire prototype

La segmentation non supervisée d'objets vidéo vise à segmenter un objet cible dans une vidéo sans masque de vérité terrain dans le premier cadre. Cette tâche ardue nécessite l'extraction de caractéristiques pour les objets communs les plus saillants au sein d'une séquence vidéo. Cette difficulté peut être surmontée en utilisant des informations de mouvement telles que le flux optique, mais l'utilisation seule des informations entre les cadres adjacents entraîne une connectivité médiocre entre les cadres éloignés et de mauvaises performances. Pour résoudre ce problème, nous proposons une nouvelle architecture de réseau de mémoire prototypique. Le modèle proposé extrait efficacement les informations RGB et de mouvement en générant des prototypes de composants basés sur des superpixels à partir des images RGB d'entrée et des cartes de flux optique. De plus, le modèle évalue la pertinence des prototypes de composants dans chaque cadre grâce à un algorithme d'apprentissage auto-adaptatif et stocke de manière adaptative les prototypes les plus utiles en mémoire tout en éliminant les prototypes obsolètes. Nous utilisons les prototypes stockés dans la banque de mémoire pour prédire le masque du prochain cadre interrogatoire, ce qui renforce l'association entre les cadres éloignés afin d'aider à une prédiction précise du masque. Notre méthode est évaluée sur trois jeux de données, atteignant des performances parmi les meilleures actuellement disponibles. Nous démontrons l'efficacité du modèle proposé à travers diverses études d'ablation.Note: - "Superpixel" is kept in English as it is a technical term commonly used in French scientific literature.- "Ablation studies" is translated as "études d'ablation," which is the standard term in French for this type of analysis in machine learning and computer vision.