Attention efficace : Attention avec des complexités linéaires

L'attention par produit scalaire (dot-product attention) trouve de nombreuses applications dans la vision par ordinateur et le traitement du langage naturel. Cependant, ses coûts en mémoire et en calcul augmentent quadratiquement avec la taille de l'entrée, ce qui entrave son utilisation pour des entrées à haute résolution. Pour remédier à cet inconvénient, cet article propose un nouveau mécanisme d'attention efficace équivalent à l'attention par produit scalaire mais avec des coûts en mémoire et en calcul considérablement réduits. Cette efficacité en ressources permet une intégration plus étendue et flexible des modules d'attention dans un réseau, ce qui conduit à de meilleures précisions. Les évaluations empiriques ont démontré l'efficacité de ces avantages. Les modules d'attention efficaces ont apporté des améliorations significatives aux détecteurs d'objets et aux segmenteurs d'instances sur MS-COCO 2017. De plus, l'efficacité en ressources démocratise l'utilisation de l'attention dans les modèles complexes, où les coûts élevés interdisaient jusqu'à présent l'utilisation de l'attention par produit scalaire. Par exemple, un modèle utilisant l'attention efficace a atteint des précisions record pour l'estimation de profondeur stéréoscopique sur le jeu de données Scene Flow. Le code est disponible à l'adresse suivante : https://github.com/cmsflash/efficient-attention.