9일 전

MUXConv: 합성곱 신경망 내 정보 멀티플렉싱

Zhichao Lu, Kalyanmoy Deb, Vishnu Naresh Boddeti
MUXConv: 합성곱 신경망 내 정보 멀티플렉싱
초록

최근 몇 년 동안 합성곱 신경망(Convolutional neural networks)은 계산 효율성 측면에서 놀라운 발전을 이뤘다. 이 발전의 핵심 동력은 표준 합성곱 층 대신 $1\times 1$ 합성곱과 깊이 분리형 합성곱(depth-wise separable convolutions)을 조합함으로써 모델의 표현력과 효율성 사이의 트레이드오프를 실현하는 아이디어였다. 그러나 이러한 효율성 향상의 대가로는 네트워크 내 공간적 및 채널 간 정보 흐름이 비최적화되는 문제가 발생한다. 이 제약을 극복하기 위해 본 연구에서는 채널 정보와 공간 정보를 점진적으로 멀티플렉싱(multiplexing)함으로써 정보 흐름을 증진시키면서도 계산 복잡도를 완화하는 MUXConv라는 새로운 층을 제안한다. 또한 MUXConv의 효과를 입증하기 위해, 정확도, 컴팩트성, 계산 효율성을 동시에 최적화하는 동시에 최적의 모델 하이퍼파라미터를 탐색하기 위해 효율적인 다목적 진화 알고리즘을 활용한다. ImageNet 벤치마크에서 MUXNets라는 이름으로 개발된 모델들은 MobileNetV3과 동일한 성능(정확도 75.3%, top-1)과 곱셈-덧셈 연산 수(218M)를 달성하면서도 크기가 1.6배 더 작으며, 정확도, 컴팩트성, 계산 효율성 세 가지 기준에서 다른 모바일 모델들을 모두 상회한다. MUXNet은 전이 학습(transfer learning) 상황에서도 뛰어난 성능을 보이며, 객체 탐지에 적용했을 때도 우수한 결과를 얻는다. ChestX-Ray 14 벤치마크에서는 최신 기술 수준과 유사한 정확도를 달성하면서도 크기는 3.3배 작고, 효율성은 14배 높다. 또한 PASCAL VOC 2007에서의 객체 탐지 성능은 MobileNetV2 대비 정확도 1.2% 향상, 처리 속도 28% 향상, 크기 6% 축소를 기록한다. 코드는 https://github.com/human-analysis/MUXConv 에서 공개되어 있다.