HyperAIHyperAI

Command Palette

Search for a command to run...

VITA : Segmentación d'instances vidéo par association de tokens objets

Miran Heo Sukjun Hwang Seoung Wug Oh Joon-Young Lee Seon Joo Kim

Résumé

Nous introduisons un nouveau paradigme pour la segmentation d’instances vidéo hors ligne (VIS), fondé sur l’hypothèse selon laquelle les informations explicites orientées objet peuvent constituer un indice puissant pour comprendre le contexte de toute la séquence. À cette fin, nous proposons VITA, une architecture simple construite à partir d’un modèle d’instance de segmentation d’image basé sur un Transformer disponible en standard. Plus précisément, nous utilisons un détecteur d’objets d’image afin de distiller des contextes spécifiques aux objets dans des jetons d’objets. VITA atteint une compréhension au niveau de la vidéo en associant des jetons d’objets au niveau des trames, sans recourir aux caractéristiques spatio-temporelles du modèle de base. En établissant efficacement des relations entre objets à partir d’informations condensées, VITA atteint l’état de l’art sur les benchmarks VIS avec un squelette ResNet-50 : 49,8 AP et 45,7 AP sur YouTube-VIS 2019 & 2021, ainsi que 19,6 AP sur OVIS. De plus, grâce à sa structure fondée sur des jetons d’objets, indépendante des caractéristiques du squelette, VITA présente plusieurs avantages pratiques non explorés par les méthodes antérieures de VIS hors ligne : traitement de vidéos longues et à haute résolution avec une seule GPU standard, et gel d’un détecteur au niveau des trames entraîné sur des données d’image. Le code est disponible à l’adresse suivante : https://github.com/sukjunhwang/VITA.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp