RNNPool: RAM 제약이 있는 추론을 위한 효율적인 비선형 풀링

컴퓨터 비전 작업을 위한 표준 합성곱 신경망(CNN)은 일반적으로 큰 중간 활성화 맵을 가지며, 이는 큰 작업 메모리 요구량을 초래하여 엣지에서 추론을 수행하는 데 일반적으로 사용되는 자원 제약이 있는 장치에 배포하기에 부적합하다. 풀링이나 스트라이드 합성곱을 통해 이미지를 극도로 다운샘플링하는 것은 문제를 해결할 수 있지만, 표준 풀링 연산자가 특징 맵을 과도하게 집계함으로써 정확도가 크게 저하되는 문제가 발생한다. 본 논문에서는 반복 신경망(RNN) 기반의 새로운 풀링 연산자인 RNNPool을 제안한다. 이는 이미지의 큰 패치에 걸쳐 특징을 효율적으로 집계하고 활성화 맵을 빠르게 다운샘플링할 수 있다. 실험적 평가 결과, RNNPool 레이어는 이미지 분류나 얼굴 탐지와 같은 표준 비전 작업에 적용했을 때, MobileNet, DenseNet 등의 다양한 아키텍처에서 여러 블록을 효과적으로 대체할 수 있음을 보였다. 즉, RNNPool는 정확도를 유지하면서 추론 시 계산 복잡도와 최대 메모리 사용량을 크게 감소시킬 수 있다. 본 연구에서는 표준 S3FD 아키텍처와 RNNPool를 결합하여, RAM이 256KB 미만인 소형 ARM Cortex-M4 계열 마이크로컨트롤러에서 최신 기술 수준의 MAP 성능을 달성하는 얼굴 탐지 방법을 구현하였다. 코드는 https://github.com/Microsoft/EdgeML 에 공개되었다.