DenseNets Reloaded: ResNets と ViTs を超えるパラダイムシフト

本論文は、Densely Connected Convolutional Networks (DenseNets) を再評価し、主流の ResNet スタイルのアーキテクチャに比べて見過ごされがちな有効性を明らかにします。私たちは、DenseNets の潜在能力が、未改良の訓練手法や伝統的な設計要素によって十分に引き出されていなかったと考えています。我々のパイロット研究では、結合を通じた密接な接続が強力であることが示され、DenseNets が現代のアーキテクチャと競争できる可能性があることを示しています。私たちは、アーキテクチャの調整、ブロックの再設計、および訓練レシピの改善により、DenseNets を拡張し、メモリ効率を向上させつつ結合ショートカットを維持する方法を系統的に精査しました。これらの単純なアーキテクチャ要素を用いた私たちのモデルは最終的に、Swin Transformer, ConvNeXt, および DeiT-III — 残差学習系における主要なアーキテクチャ — を上回る性能を発揮しました。さらに、私たちのモデルは ImageNet-1K において最先端に近い性能を示し、最新のモデルや下流タスク（ADE20k セマンティックセグメンテーションおよび COCO オブジェクト検出/インスタンスセグメンテーション）と競争しています。最後に、結合ショートカットが加法型ショートカットよりも優れている点について実証分析を行い、DenseNet スタイルの設計に対する新たな関心を促進しています。当該コードは https://github.com/naver-ai/rdnet で公開されています。