ECA-Net: 깊이 있는 합성곱 신경망을 위한 효율적인 채널 주의 메커니즘

최근 들어 채널 주의 메커니즘(channel attention mechanism)은 딥 컨볼루션 신경망(DCNNs)의 성능 향상에 큰 잠재력을 보여주고 있다. 그러나 기존 대부분의 방법들은 더 정교한 주의 모듈을 개발하여 성능을 향상시키는 데 집중하면서, 모델의 복잡도가 자연스럽게 증가하게 된다. 성능과 복잡도 사이의 상충 관계를 극복하기 위해 본 논문에서는 파라미터 수가 극히 적으면서도 성능 향상이 뚜렷한 효율적인 채널 주의(Efficient Channel Attention, ECA) 모듈을 제안한다. SENet의 채널 주의 모듈을 분석한 결과, 차원 축소(dimensionality reduction)를 피하는 것이 채널 주의를 학습하는 데 있어 중요함을 실험적으로 입증하였다. 또한 적절한 채널 간 상호작용은 성능을 유지하면서 모델 복잡도를 크게 감소시킬 수 있음을 보였다. 따라서 차원 축소 없이 지역적 채널 간 상호작용을 수행하는 전략을 제안하며, 이는 1차원 컨볼루션(1D convolution)을 통해 효율적으로 구현 가능하다. 더불어, 1D 컨볼루션의 커널 크기를 적응적으로 선택하는 방법을 개발하여 지역적 채널 상호작용의 영향 범위를 결정한다. 제안하는 ECA 모듈은 효율적이면서도 효과적이며, ResNet50 기반 백본 모델과 비교했을 때 파라미터 수는 80만 대비 2437만, 계산량은 4.7e-4 GFLOPs 대비 3.86 GFLOPs로 각각 극적으로 감소하였으며, Top-1 정확도 측면에서 2% 이상의 성능 향상을 달성하였다. 본 연구에서는 ResNet과 MobileNetV2를 백본으로 사용하여 이미지 분류, 객체 탐지, 인스턴스 세그멘테이션 등 다양한 작업에 걸쳐 ECA 모듈을 광범위하게 평가하였다. 실험 결과, 제안된 모듈은 기존 대안들에 비해 더 효율적이면서도 경쟁력 있는 성능을 보였다.