Découplage de la perception du mouvement statique et hiérarchique pour le segmention vidéo référencée

La segmentation de vidéo par référence s'appuie sur des expressions en langage naturel pour identifier et segmenter des objets, mettant souvent l'accent sur les indices de mouvement. Les travaux précédents traitent une phrase comme un tout et effectuent directement l'identification au niveau de la vidéo, mélangeant ainsi les indices statiques au niveau de l'image avec les indices temporels de mouvement. Cependant, les caractéristiques au niveau de l'image ne peuvent pas bien comprendre les indices de mouvement dans les phrases, et les indices statiques ne sont pas essentiels pour la perception temporelle. En fait, les indices statiques peuvent parfois interférer avec la perception temporelle en éclipsant les indices de mouvement. Dans ce travail, nous proposons de découpler la compréhension des expressions de référence au niveau de la vidéo en perception statique et en perception du mouvement, avec une emphase particulière sur le renforcement de la compréhension temporelle. Premièrement, nous introduisons un module de découplage d'expression pour que les indices statiques et les indices de mouvement jouent leur rôle distinct, atténuant ainsi le problème des plongements (embeddings) de phrases qui négligent les indices de mouvement. Deuxièmement, nous proposons un module hiérarchique de perception du mouvement pour capturer efficacement l'information temporelle à travers différentes échelles temporelles. En outre, nous utilisons l'apprentissage par contraste pour distinguer les mouvements d'objets visuellement similaires. Ces contributions permettent d'obtenir des performances d'état de l'art sur cinq jeux de données, y compris une amélioration remarquable de $\textbf{9,2\%}$ $\mathcal{J\&F}$ sur le jeu de données difficile $\textbf{MeViS}$. Le code est disponible à l'adresse https://github.com/heshuting555/DsHmp.