HyperAIHyperAI

Command Palette

Search for a command to run...

Pré-entraînement visuel efficace basé sur la détection contrastive

Olivier J. Hénaff Skanda Koppula Jean-Baptiste Alayrac Aaron van den Oord Oriol Vinyals João Carreira

Résumé

La pré-formation auto-supervisée s'est révélée produire des représentations puissantes pour le transfert d'apprentissage. Ces gains de performance s'accompagnent toutefois d'un coût computationnel élevé, les méthodes les plus avancées nécessitant un ordre de grandeur de calculs supérieur à celui de la pré-formation supervisée. Nous abordons ce goulot d'étranglement computationnel en introduisant une nouvelle objectif auto-supervisé, appelé détection contrastive, qui impose aux représentations d'identifier des caractéristiques au niveau des objets à travers différentes augmentations. Cet objectif extrait un signal d'apprentissage riche par image, permettant d'atteindre des performances de transfert de pointe sur diverses tâches downstream, tout en nécessitant jusqu'à 10 fois moins de pré-formation. En particulier, notre modèle ImageNet pré-entraîné le plus performant atteint des résultats comparables à ceux de SEER, l'un des plus grands systèmes auto-supervisés à ce jour, qui utilise 1000 fois plus de données pour la pré-formation. Enfin, notre objectif s'adapte naturellement à la pré-formation sur des images plus complexes telles que celles du jeu de données COCO, réduisant ainsi l'écart avec le transfert supervisé à partir de COCO vers PASCAL.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp