HyperAIHyperAI

Command Palette

Search for a command to run...

Attention efficace : Attention avec des complexités linéaires

Résumé

L'attention par produit scalaire (dot-product attention) trouve de nombreuses applications dans la vision par ordinateur et le traitement du langage naturel. Cependant, ses coûts en mémoire et en calcul augmentent quadratiquement avec la taille de l'entrée, ce qui entrave son utilisation pour des entrées à haute résolution. Pour remédier à cet inconvénient, cet article propose un nouveau mécanisme d'attention efficace équivalent à l'attention par produit scalaire mais avec des coûts en mémoire et en calcul considérablement réduits. Cette efficacité en ressources permet une intégration plus étendue et flexible des modules d'attention dans un réseau, ce qui conduit à de meilleures précisions. Les évaluations empiriques ont démontré l'efficacité de ces avantages. Les modules d'attention efficaces ont apporté des améliorations significatives aux détecteurs d'objets et aux segmenteurs d'instances sur MS-COCO 2017. De plus, l'efficacité en ressources démocratise l'utilisation de l'attention dans les modèles complexes, où les coûts élevés interdisaient jusqu'à présent l'utilisation de l'attention par produit scalaire. Par exemple, un modèle utilisant l'attention efficace a atteint des précisions record pour l'estimation de profondeur stéréoscopique sur le jeu de données Scene Flow. Le code est disponible à l'adresse suivante : https://github.com/cmsflash/efficient-attention.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Attention efficace : Attention avec des complexités linéaires | Articles | HyperAI