Transformations réciproques pour la segmentation d'objets vidéo non supervisée

La segmentation non supervisée d'objets dans les vidéos (UVOS) vise à segmenter les objets principaux dans des séquences vidéo sans intervention humaine. En l'absence de connaissances préalables sur ces objets principaux, leur identification à partir des vidéos constitue le défi majeur de l'UVOS. Les méthodes précédentes considèrent souvent les objets en mouvement comme étant les objets principaux et s'appuient sur le flux optique pour capturer les indices de mouvement dans les vidéos, mais ces informations de flux s'avèrent insuffisantes pour distinguer les objets principaux des objets de fond qui se déplacent simultanément. En effet, lorsqu'on combine les caractéristiques de mouvement bruitées avec les caractéristiques d'apparence, la localisation des objets principaux est souvent erronée. Pour résoudre ce problème, nous proposons un nouveau réseau de transformation réciproque, conçu pour identifier les objets principaux en corrélant trois facteurs clés : le contraste intra-image, les indices de mouvement et la cohérence temporelle des objets récurrents. Chacun de ces facteurs correspond à un type représentatif d'objet principal, et notre mécanisme réciproque permet une coordination organique de ces éléments afin d’éliminer efficacement les distractions ambigües présentes dans les vidéos. En outre, pour exclure les informations relatives aux objets du fond en mouvement des caractéristiques de mouvement, notre module de transformation permet une transformation réciproque des caractéristiques d'apparence afin d’améliorer les caractéristiques de mouvement, en se concentrant ainsi sur les objets mobiles aux caractéristiques d'apparence marquées tout en éliminant les points aberrants qui se déplacent en synchronisation. Les expériences menées sur des benchmarks publics démontrent que notre modèle surpasse significativement les méthodes de pointe actuelles.