HyperAIHyperAI

Command Palette

Search for a command to run...

ViC-MAE : Apprentissage non supervisé de représentations à partir d'images et de vidéos à l'aide d'autoencodeurs masqués contrastifs

Jefferson Hernandez Ruben Villegas Vicente Ordonez

Résumé

Nous proposons ViC-MAE, un modèle qui combine les Autoencodeurs Masqués (MAE) et l’apprentissage contrastif. ViC-MAE est entraîné à partir d’une représentation globale obtenue en agrégant les représentations locales apprises sous une perte de reconstruction MAE, tout en exploitant cette représentation dans un objectif contrastif entre images et cadres vidéo. Nous démontrons que les représentations visuelles apprises avec ViC-MAE se généralisent efficacement aux tâches de classification d’images et de vidéos. En particulier, ViC-MAE atteint des performances de transfert de pointe pour la tâche vidéo → image sur ImageNet-1k, surpassant récemment OmniMAE : une précision top-1 de 86 % (+1,3 % d’amélioration absolue) lorsqu’il est entraîné sur les mêmes données, et 87,1 % (+2,4 % d’amélioration absolue) lorsqu’il est entraîné sur des données supplémentaires. Par ailleurs, ViC-MAE dépasse la plupart des autres méthodes sur les benchmarks vidéo, obtenant une précision top-1 de 75,9 % sur le défi exigeant Something-Something-v2. Lorsqu’il est entraîné sur des vidéos et des images provenant d’une combinaison diversifiée de jeux de données, notre méthode maintient un équilibre optimal des performances de transfert entre les benchmarks de classification d’images et de vidéos, se classant seulement au second rang derrière la meilleure méthode supervisée.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp