HyperAIHyperAI

Command Palette

Search for a command to run...

Apprentissage de la segmentation d'objets vidéo non supervisée par attention visuelle

Haibin Ling Steven C. H. Hoi Sanyuan Zhao Jianbing Shen Shuyang Zhao Hongmei Song Wenguan Wang

Résumé

Cette étude effectue une analyse systématique du rôle de l’attention visuelle dans les tâches de segmentation d’objets vidéo non supervisée (UVOS). En annotant de manière précise trois jeux de données populaires pour la segmentation vidéo (DAVIS, Youtube-Objects et SegTrack V2) avec des données de suivi oculaire dynamique dans le cadre UVOS, nous vérifions pour la première fois de manière quantitative la forte cohérence du comportement d’attention visuelle entre observateurs humains, et mettons en évidence une corrélation significative entre l’attention humaine et les jugements explicites portant sur l’objet principal lors d’une observation dynamique et guidée par une tâche. Ces observations nouvelles offrent une compréhension approfondie des fondements sous-jacents de l’UVOS. Inspirés par ces résultats, nous décomposons l’UVOS en deux sous-tâches : la prédiction de l’attention visuelle dynamique pilotée par l’UVOS (DVAP) dans le domaine spatio-temporel, et la segmentation d’objets guidée par l’attention (AGOS) dans le domaine spatial. Notre approche UVOS présente trois avantages majeurs : 1) une formation modulaire n’utilisant pas d’étiquetages coûteux de masques d’objets vidéo, mais plutôt des données de fixation dynamiques abordables pour entraîner le module initial d’attention vidéo, et des données existantes appariées fixation-segmentation sur des images statiques pour entraîner le module de segmentation ultérieur ; 2) une compréhension globale du fond grâce à un apprentissage multi-source ; et 3) une interprétabilité accrue grâce à une attention inspirée du biologique et évaluables. Des expériences sur des benchmarks courants montrent que, même en l’absence d’étiquetages de masques d’objets vidéo coûteux, notre modèle atteint des performances remarquables comparables aux états de l’art.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Apprentissage de la segmentation d'objets vidéo non supervisée par attention visuelle | Articles | HyperAI