HyperAIHyperAI

Command Palette

Search for a command to run...

Découplage des Caractéristiques dans la Propagation Hiérarchique pour la Segmentation d'Objets Vidéo

Zongxin Yang Yi Yang

Résumé

Ce document se concentre sur le développement d'une méthode plus efficace de propagation hiérarchique pour la segmentation d'objets vidéo semi-supervisée (VOS). Basée sur les transformateurs visuels, l'approche récemment développée Associating Objects with Transformers (AOT) introduit la propagation hiérarchique dans la VOS et a montré des résultats prometteurs. La propagation hiérarchique peut progressivement propager les informations des frames précédentes à la frame actuelle et transférer les caractéristiques de la frame actuelle du niveau non spécifique aux objets au niveau spécifique aux objets. Cependant, l'augmentation des informations spécifiques aux objets entraîne inévitablement une perte d'informations visuelles non spécifiques aux objets dans les couches profondes de propagation. Pour résoudre ce problème et faciliter davantage l'apprentissage des plongements visuels, ce document propose une approche de Découplage des Caractéristiques dans la Propagation Hiérarchique (DeAOT). Premièrement, DeAOT découple la propagation hiérarchique des plongements non spécifiques et spécifiques aux objets en les traitant dans deux branches indépendantes. Deuxièmement, pour compenser le calcul supplémentaire résultant de la propagation à double branche, nous proposons un module efficace pour construire la propagation hiérarchique, à savoir le Module de Propagation Géré (Gated Propagation Module), qui est soigneusement conçu avec une attention mono-tête. Des expériences étendues montrent que DeAOT dépasse significativement AOT en termes de précision et d'efficacité. Sur YouTube-VOS, DeAOT peut atteindre 86,0% à 22,4 fps et 82,0% à 53,4 fps. Sans augmentations lors des tests, nous obtenons de nouvelles performances record sur quatre benchmarks : YouTube-VOS (86,2%), DAVIS 2017 (86,2%), DAVIS 2016 (92,9%) et VOT 2020 (0,622). Page du projet : https://github.com/z-x-yang/AOT.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp