Réseaux de Squeeze-and-Excitation

Le bloc de base central des réseaux neuronaux convolutifs (CNNs) est l'opérateur de convolution, qui permet aux réseaux de construire des caractéristiques informatives en fusionnant à la fois les informations spatiales et canalaires au sein des champs récepteurs locaux à chaque couche. Un large éventail de recherches antérieures a examiné la composante spatiale de cette relation, cherchant à renforcer le pouvoir représentatif d'un CNN en améliorant la qualité des encodages spatiaux tout au long de sa hiérarchie de caractéristiques. Dans ce travail, nous nous concentrons plutôt sur la relation entre canaux et proposons une nouvelle unité architecturale, que nous appelons le bloc « Squeeze-and-Excitation » (SE), capable de recalibrer adaptivement les réponses des caractéristiques canalaires en modélisant explicitement les interdépendances entre canaux. Nous montrons que ces blocs peuvent être empilés pour former des architectures SENet qui généralisent extrêmement bien sur différents jeux de données. Nous démontrons également que les blocs SE apportent des améliorations significatives aux performances des CNNs existants parmi les meilleurs, avec un coût computationnel légèrement supplémentaire. Les réseaux Squeeze-and-Excitation ont servi de fondement à notre soumission pour la classification ILSVRC 2017, qui a remporté le premier prix et a réduit l'erreur du top-5 à 2,251 %, surpassant l'entrée gagnante de 2016 avec une amélioration relative d'environ 25 %. Les modèles et le code sont disponibles sur https://github.com/hujie-frank/SENet.