HyperAIHyperAI

Command Palette

Search for a command to run...

ECA-Net : Attention efficace sur les canaux pour les réseaux de neurones convolutifs profonds

Qilong Wang Banggu Wu Pengfei Zhu Peihua Li Wangmeng Zuo Qinghua Hu

Résumé

Récemment, le mécanisme d’attention sur les canaux a démontré un grand potentiel pour améliorer les performances des réseaux de neurones convolutionnels profonds (CNN). Toutefois, la plupart des méthodes existantes se concentrent sur le développement de modules d’attention plus sophistiqués afin d’obtenir de meilleures performances, ce qui entraîne inévitablement une augmentation de la complexité du modèle. Pour surmonter ce dilemme entre performance et complexité, ce papier propose un module d’attention canal efficace (ECA), qui ne comporte qu’un nombre réduit de paramètres tout en apportant une amélioration significative des performances. En analysant le module d’attention canal de SENet, nous montrons empiriquement que l’évitement de la réduction de dimension est crucial pour l’apprentissage de l’attention canal, et qu’une interaction croisée entre canaux appropriée permet de préserver les performances tout en réduisant considérablement la complexité du modèle. Par conséquent, nous proposons une stratégie d’interaction locale entre canaux sans réduction de dimension, pouvant être efficacement mise en œuvre à l’aide d’une convolution 1D. En outre, nous avons développé une méthode permettant de sélectionner de manière adaptative la taille du noyau de la convolution 1D, afin de déterminer la portée de l’interaction locale entre canaux. Le module ECA proposé est à la fois efficace et performant : par exemple, par rapport au modèle de base ResNet50, nos modules présentent respectivement 80 vs. 24,37 millions de paramètres et 4,7 × 10⁻⁴ GFLOPs vs. 3,86 GFLOPs, tout en offrant une amélioration de plus de 2 % en précision Top-1. Nous avons évalué de manière extensive notre module ECA sur des tâches de classification d’images, de détection d’objets et de segmentation d’instances, en utilisant comme architectures de base ResNet et MobileNetV2. Les résultats expérimentaux montrent que notre module est plus efficace tout en rivalisant favorablement avec ses concurrents.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp