HyperAIHyperAI

Command Palette

Search for a command to run...

MViTv2 : Transformateurs Multiscales Améliorés pour la Classification et la Détection

Yanghao Li Chao-Yuan Wu Haoqi Fan Karttikeya Mangalam Bo Xiong Jitendra Malik Christoph Feichtenhofer

Résumé

Dans cet article, nous étudions les Transformers visuels multiscales (MViTv2) comme une architecture unifiée pour la classification d’images et de vidéos, ainsi que la détection d’objets. Nous proposons une version améliorée de MViT intégrant des embeddings positionnels relatifs décomposés et des connexions de pooling résiduelles. Nous instancions cette architecture en cinq tailles différentes et l’évaluons sur la classification ImageNet, la détection COCO et la reconnaissance vidéo Kinetics, où elle surpasser les travaux antérieurs. Nous comparons également l’attention par pooling de MViTv2 aux mécanismes d’attention par fenêtre, et montrons qu’elle obtient de meilleurs résultats en termes de précision par rapport à la charge de calcul. Sans recourir à des améliorations supplémentaires (« bells and whistles »), MViTv2 atteint des performances de pointe dans trois domaines : 88,8 % de précision sur la classification ImageNet, 58,7 boxAP sur la détection d’objets COCO, ainsi que 86,1 % sur la classification vidéo Kinetics-400. Le code et les modèles sont disponibles à l’adresse suivante : https://github.com/facebookresearch/mvit.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp