Réseaux de filtres dynamiques déconnectés

La convolution constitue l’un des blocs de construction fondamentaux des architectures de réseaux de neurones convolutifs (CNN). Malgré son utilisation courante, la convolution standard présente deux inconvénients majeurs : elle est indépendante du contenu et exige une charge computationnelle élevée. Les filtres dynamiques, bien qu’adaptatifs au contenu, aggravent davantage cette charge computationnelle. La convolution en profondeur (depth-wise convolution) est une variante légère, mais elle entraîne généralement une baisse de performance des CNN ou nécessite un nombre accru de canaux. Dans ce travail, nous proposons le filtre dynamique découplé (Decoupled Dynamic Filter, DDF), capable de surmonter simultanément ces deux limitations. Inspirés des avancées récentes en matière d’attention, nous décomposons un filtre dynamique en profondeur en deux composantes distinctes : un filtre dynamique spatial et un filtre dynamique canal. Cette décomposition réduit considérablement le nombre de paramètres et limite les coûts computationnels au même niveau que la convolution en profondeur. Par ailleurs, nous observons une amélioration significative des performances lorsqu’on remplace la convolution standard par le DDF dans des réseaux de classification. ResNet50 et ResNet101 affichent respectivement une amélioration de 1,9 % et 1,3 % en précision top-1, tout en réduisant leurs coûts computationnels d’environ la moitié. Des expériences menées sur des tâches de détection et de reconstruction d’images (joint upsampling) démontrent également que la variante DDF de l’opération d’upsampling (DDF-Up) surpasse de manière significative la convolution standard ainsi que les couches spécialisées adaptatives au contenu.