HyperAIHyperAI

Command Palette

Search for a command to run...

Apprentissage auto-supervisé pour tâches conjointes correspondance temporelle

Xueting Li Sifei Liu Shalini De Mello Xiaolong Wang Jan Kautz Ming-Hsuan Yang

Résumé

Cet article propose d’apprendre des correspondances denses fiables à partir de vidéos de manière auto-supervisée. Notre procédé d’apprentissage intègre deux tâches fortement corrélées : le suivi de grandes régions d’image et l’établissement d’associations à très haute résolution au niveau des pixels entre cadres vidéo consécutifs. Nous exploitons la synergie entre ces deux tâches grâce à une matrice d’affinité inter-cadres partagée, qui modélise simultanément les transitions entre cadres vidéo à la fois au niveau des régions et au niveau des pixels. Alors que la localisation au niveau des régions contribue à réduire les ambiguïtés dans le traitement fine-grained en restreignant les régions de recherche, la correspondance fine-grained fournit des caractéristiques bottom-up pour faciliter la localisation au niveau des régions. Notre méthode surpasse les méthodes auto-supervisées les plus avancées sur une variété de tâches de correspondance visuelle, notamment la propagation de segmentation d’objets et de parties, le suivi de points clés et le suivi d’objets. De plus, notre méthode auto-supervisée dépasse même la représentation de caractéristiques d’affinité entièrement supervisée obtenue à partir d’un ResNet-18 pré-entraîné sur ImageNet.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Apprentissage auto-supervisé pour tâches conjointes correspondance temporelle | Articles | HyperAI