DenseNets Reloaded: ResNets과 ViTs를 넘어서 패러다임 전환

본 논문은 밀집 연결 합성곱 신경망(DenseNets)을 재조명하고, 주류인 ResNet 스타일 아키텍처보다 저평가된 효율성을 밝혀냅니다. 우리는 DenseNets의 잠재력이 미처 다루어지지 않은 훈련 방법과 전통적인 설계 요소로 인해 완전히 드러나지 않았다고 믿습니다. 우리의 탐색 연구는 연결을 통해 결합(concatenation)하는 방식이 강력함을 보여주며, DenseNets가 현대 아키텍처와 경쟁할 수 있음을 입증합니다. 우리는 체계적으로 비최적 구성요소를 개선하여 - 아키텍처 조정, 블록 재설계, 그리고 향상된 훈련 방법으로 - DenseNets의 폭을 넓히고 메모리 효율성을 높이면서 결합 단축(concatenation shortcuts)을 유지하였습니다. 우리의 모델들은 간단한 아키텍처 요소를 사용하여 최종적으로 Swin Transformer, ConvNeXt, DeiT-III 등 잔차 학습 계열의 주요 아키텍처들을 능가하였습니다. 또한, 우리의 모델들은 ImageNet-1K에서 거의 최신 수준의 성능을 보이며 최근 모델들과 하위 작업들, ADE20k 의미 분할 및 COCO 객체 검출/인스턴스 분할에서 경쟁력을 보입니다. 마지막으로, 우리는 경험적 분석을 제공하여 결합(concatenation) 방식이 덧셈(additive) 단축보다 우수한 점을 밝혀내며, DenseNet 스타일 설계에 대한 새로운 선호도를 이끌어냅니다. 본 연구의 코드는 https://github.com/naver-ai/rdnet 에서 확인할 수 있습니다.