HyperAIHyperAI
il y a 17 jours

ECA-Net : Attention efficace sur les canaux pour les réseaux de neurones convolutifs profonds

Qilong Wang, Banggu Wu, Pengfei Zhu, Peihua Li, Wangmeng Zuo, Qinghua Hu
ECA-Net : Attention efficace sur les canaux pour les réseaux de neurones convolutifs profonds
Résumé

Récemment, le mécanisme d’attention sur les canaux a démontré un grand potentiel pour améliorer les performances des réseaux de neurones convolutionnels profonds (CNN). Toutefois, la plupart des méthodes existantes se concentrent sur le développement de modules d’attention plus sophistiqués afin d’obtenir de meilleures performances, ce qui entraîne inévitablement une augmentation de la complexité du modèle. Pour surmonter ce dilemme entre performance et complexité, ce papier propose un module d’attention canal efficace (ECA), qui ne comporte qu’un nombre réduit de paramètres tout en apportant une amélioration significative des performances. En analysant le module d’attention canal de SENet, nous montrons empiriquement que l’évitement de la réduction de dimension est crucial pour l’apprentissage de l’attention canal, et qu’une interaction croisée entre canaux appropriée permet de préserver les performances tout en réduisant considérablement la complexité du modèle. Par conséquent, nous proposons une stratégie d’interaction locale entre canaux sans réduction de dimension, pouvant être efficacement mise en œuvre à l’aide d’une convolution 1D. En outre, nous avons développé une méthode permettant de sélectionner de manière adaptative la taille du noyau de la convolution 1D, afin de déterminer la portée de l’interaction locale entre canaux. Le module ECA proposé est à la fois efficace et performant : par exemple, par rapport au modèle de base ResNet50, nos modules présentent respectivement 80 vs. 24,37 millions de paramètres et 4,7 × 10⁻⁴ GFLOPs vs. 3,86 GFLOPs, tout en offrant une amélioration de plus de 2 % en précision Top-1. Nous avons évalué de manière extensive notre module ECA sur des tâches de classification d’images, de détection d’objets et de segmentation d’instances, en utilisant comme architectures de base ResNet et MobileNetV2. Les résultats expérimentaux montrent que notre module est plus efficace tout en rivalisant favorablement avec ses concurrents.