HyperAIHyperAI

Command Palette

Search for a command to run...

Une image vaut 16x16 mots : Transformers pour la reconnaissance d'images à grande échelle

Résumé

Bien que l'architecture Transformer soit devenue la norme de facto pour les tâches de traitement du langage naturel, ses applications en vision par ordinateur restent limitées. En vision, l'attention est soit combinée avec des réseaux de convolution (CNN), soit utilisée pour remplacer certains composants des CNN tout en conservant leur structure globale. Nous montrons que ce recours aux CNN n'est pas nécessaire : un Transformer pur appliqué directement à des séquences de patches d'image peut obtenir de très bons résultats sur des tâches de classification d'images. Lorsqu'il est pré-entraîné sur de grandes quantités de données et transféré vers plusieurs benchmarks de reconnaissance d'images de taille moyenne ou petite (ImageNet, CIFAR-100, VTAB, etc.), le Vision Transformer (ViT) atteint des performances excellentes comparées aux réseaux de convolution d'avant-garde, tout en nécessitant significativement moins de ressources computationnelles pour l'entraînement.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp