HyperAIHyperAI

Command Palette

Search for a command to run...

Solution gagnante de la première place au YouTubeVOS Challenge 2021 : Segmentations d'instances vidéo

Thuy C. Nguyen Tuan N. Tang Nam LH. Phan Chuong H. Nguyen Masayuki Yamazaki Masao Yamanaka

Résumé

La segmentation d'instances vidéo (VIS) est un problème multi-tâches qui réalise simultanément la détection, la segmentation et le suivi d'objets. En s'appuyant sur les applications basées sur des ensembles d'images, les données vidéo introduisent une information temporelle supplémentaire, qui, si elle est correctement exploitée, s'avère très utile pour identifier et prédire les mouvements des objets. Dans ce travail, nous proposons un modèle unifié permettant d'apprendre mutuellement ces différentes tâches. Plus précisément, nous introduisons deux modules, nommés Segmentation d'Instances Corrélées Temporellement (TCIS) et Suivi Bidirectionnel (BiTrack), afin de tirer parti de la corrélation temporelle existant entre les masques d'instances d'un même objet sur des trames adjacentes. D'autre part, les données vidéo sont souvent redondantes en raison de la surimposition entre trames. Notre analyse montre que ce problème est particulièrement prononcé sur le jeu de données YoutubeVOS-VIS2021. Par conséquent, nous proposons un mécanisme d'apprentissage à sources multiples (MSD) afin de compenser cette carence en données. En combinant ces techniques avec une série de stratégies efficaces (« bag of tricks »), la performance du réseau est considérablement améliorée par rapport à la base de référence, dépassant nettement les autres méthodes sur les jeux de données YoutubeVOS-VIS 2019 et 2021.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp