HyperAIHyperAI

Command Palette

Search for a command to run...

Transfinateur de masque vidéo pour une segmentation d'instances vidéo de haute qualité

Lei Ke Henghui Ding Martin Danelljan Yu-Wing Tai Chi-Keung Tang Fisher Yu

Résumé

Bien que la segmentation d’instances vidéo (VIS) ait connu un progrès rapide, les approches actuelles peinent à prédire des masques de haute qualité dotés de détails précis aux frontières. De plus, les segmentations prédites présentent souvent des fluctuations au fil du temps, ce qui suggère que les indices de cohérence temporelle sont soit négligés, soit mal exploités. Dans cet article, nous abordons ces problèmes dans le but d’obtenir des prédictions de masques plus détaillées et plus stables temporellement pour la VIS. Nous proposons tout d’abord la méthode Video Mask Transfiner (VMT), capable d’exploiter des caractéristiques haute résolution à fort grain grâce à une structure de transformateur vidéo particulièrement efficace. Notre VMT détecte et regroupe les régions spatio-temporelles peu fiables, rares, de chaque trajectoire dans la séquence vidéo, puis les affine à l’aide à la fois de signaux locaux et d’informations au niveau de l’instance. Ensuite, nous identifions que les annotations de frontières grossières du jeu de données YouTube-VIS populaire constituent un facteur limitant majeur. À partir de notre architecture VMT, nous concevons donc une approche automatisée de révision des annotations par apprentissage itératif et auto-correction. Pour évaluer les prédictions de masques de haute qualité dans le cadre de la VIS, nous introduisons le jeu de données HQ-YTVIS, composé d’un ensemble de test ré-annoté manuellement et de données d’entraînement révisées automatiquement. Nous comparons VMT aux méthodes les plus récentes de l’état de l’art sur HQ-YTVIS, ainsi que sur les benchmarks YouTube-VIS, OVIS et BDD100K MOTS. Les résultats expérimentaux démontrent clairement l’efficacité et l’efficience de notre méthode pour segmenter des objets complexes et dynamiques, en capturant des détails précis.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp