HyperAIHyperAI

Command Palette

Search for a command to run...

Réseaux de filtres dynamiques déconnectés

Jingkai Zhou Varun Jampani Zhixiong Pi Qiong Liu Ming-Hsuan Yang

Résumé

La convolution constitue l’un des blocs de construction fondamentaux des architectures de réseaux de neurones convolutifs (CNN). Malgré son utilisation courante, la convolution standard présente deux inconvénients majeurs : elle est indépendante du contenu et exige une charge computationnelle élevée. Les filtres dynamiques, bien qu’adaptatifs au contenu, aggravent davantage cette charge computationnelle. La convolution en profondeur (depth-wise convolution) est une variante légère, mais elle entraîne généralement une baisse de performance des CNN ou nécessite un nombre accru de canaux. Dans ce travail, nous proposons le filtre dynamique découplé (Decoupled Dynamic Filter, DDF), capable de surmonter simultanément ces deux limitations. Inspirés des avancées récentes en matière d’attention, nous décomposons un filtre dynamique en profondeur en deux composantes distinctes : un filtre dynamique spatial et un filtre dynamique canal. Cette décomposition réduit considérablement le nombre de paramètres et limite les coûts computationnels au même niveau que la convolution en profondeur. Par ailleurs, nous observons une amélioration significative des performances lorsqu’on remplace la convolution standard par le DDF dans des réseaux de classification. ResNet50 et ResNet101 affichent respectivement une amélioration de 1,9 % et 1,3 % en précision top-1, tout en réduisant leurs coûts computationnels d’environ la moitié. Des expériences menées sur des tâches de détection et de reconstruction d’images (joint upsampling) démontrent également que la variante DDF de l’opération d’upsampling (DDF-Up) surpasse de manière significative la convolution standard ainsi que les couches spécialisées adaptatives au contenu.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp