HyperAIHyperAI

Command Palette

Search for a command to run...

Réintroduction de l'Objet dans la Segmentation d'Objets Vidéo

Ho Kei Cheng; Seoung Wug Oh; Brian Price; Joon-Young Lee; Alexander Schwing

Résumé

Nous présentons Cutie, un réseau de segmentation d'objets vidéo (VOS) avec lecture mémoire au niveau objet, qui réintègre la représentation de l'objet depuis la mémoire dans le résultat de la segmentation d'objets vidéo. Les travaux récents sur la VOS utilisent une lecture mémoire au niveau pixel par le bas, ce qui pose des problèmes en raison du bruit de correspondance, particulièrement en présence de distracteurs, entraînant une performance inférieure sur des données plus complexes. En revanche, Cutie effectue une lecture mémoire au niveau objet par le haut en adaptant un petit ensemble de requêtes d'objets. Grâce à celles-ci, il interagit itérativement avec les caractéristiques pixelaires par le bas via un transformateur d'objets basé sur des requêtes (qt, d'où le nom Cutie). Les requêtes d'objets servent de résumé de haut niveau de l'objet cible, tandis que les cartes de caractéristiques à haute résolution sont conservées pour une segmentation précise. Associée à l'attention masquée avant-plan/arrière-plan, Cutie sépare clairement les sémantiques de l'objet du premier plan et de l'arrière-plan. Sur l'ensemble de données MOSE difficile, Cutie améliore les performances de 8,7 J&F par rapport à XMem avec un temps d'exécution similaire et gagne 4,2 J&F par rapport à DeAOT tout en étant trois fois plus rapide. Le code est disponible à : https://hkchengrex.github.io/Cutie


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp