DenseNets Rechargés : Un Changement de Paradigme Au-delà des ResNets et des ViTs

Ce travail relance les Réseaux de Neurones Convolutifs Densément Connectés (DenseNets) et révèle leur efficacité sous-estimée par rapport aux architectures dominantes du style ResNet. Nous pensons que le potentiel des DenseNets a été négligé en raison de méthodes d'entraînement non optimisées et d'éléments de conception traditionnels qui n'ont pas pleinement mis en lumière leurs capacités. Notre étude pilote montre que les connexions denses par concaténation sont puissantes, démontrant ainsi que les DenseNets peuvent être revitalisés pour rivaliser avec les architectures modernes. Nous affinons systématiquement les composants sous-optimaux : ajustements architecturaux, redessin de blocs et amélioration des recettes d'entraînement, afin d'élargir les DenseNets tout en augmentant l'efficacité mémoire tout en conservant les raccourcis par concaténation. Nos modèles, utilisant des éléments architecturaux simples, surpassent finalement le Swin Transformer, le ConvNeXt et le DeiT-III - des architectures clés dans la lignée de l'apprentissage résiduel. De plus, nos modèles présentent une performance quasi à la pointe sur ImageNet-1K, rivalisant avec les modèles très récents et les tâches downstream telles que la segmentation sémantique ADE20k et la détection d'objets/segmentation d'instances COCO. Enfin, nous fournissons des analyses empiriques qui mettent en évidence les avantages de la concaténation par rapport aux raccourcis additifs, orientant une préférence renouvelée vers les conceptions du style DenseNet. Notre code est disponible à l'adresse https://github.com/naver-ai/rdnet.