MogaNet: 다중 순서 게이트형 집계 네트워크

컨볼루션 커널을 가능한 한 글로벌한 맥락으로 설정함으로써, 현대형 ConvNets는 컴퓨터 비전 작업에서 큰 잠재력을 보여왔다. 그러나 최근 심층 신경망(DNN) 내에서 다중 순서 게임 이론적 상호작용에 대한 연구는 현대형 ConvNets의 표현력 한계를 드러내고 있다. 즉, 커널 크기가 증가함에 따라 표현력 있는 상호작용이 효과적으로 인코딩되지 못하고 있다는 점이다. 이러한 도전 과제를 해결하기 위해, 순수한 ConvNet 기반 모델에서 구분력 있는 시각적 표현 학습을 위한 새로운 형태의 현대형 ConvNets, 즉 MogaNet을 제안한다. MogaNet은 유리한 복잡도-성능 균형을 갖추고 있으며, 개념적으로 간단하지만 효과적인 컨볼루션과 게이트형 집계(gated aggregation)를 컴팩트한 모듈로 통합하여, 구분력 있는 특징을 효율적으로 수집하고 적응적으로 맥락화한다. MogaNet은 이미지 분류, 객체 탐지, 세그멘테이션, 2D/3D 허브 포즈 추정, 영상 예측 등 다양한 이미지넷 및 하류 비전 벤치마크에서 최신 기술인 ViTs와 ConvNets와 비교해 뛰어난 확장성과 높은 파라미터 효율성, 경쟁력 있는 성능을 보인다. 특히 ImageNet-1K에서 파라미터 수 520만과 1810만일 때 각각 80.0%와 87.8%의 정확도를 달성하며, ParC-Net과 ConvNeXt-L을 능가하면서도, 연산량(FLOPs)을 각각 59% 절감하고, 파라미터 수를 1700만 개 감소시켰다. 소스 코드는 https://github.com/Westlake-AI/MogaNet 에서 확인할 수 있다.