ISyNet: AI 가속기용 합성곱 신경망 설계

최근 몇 년간 딥러닝은 컴퓨터 비전, 자연어 처리, 음성 인식 등 다양한 실용적 문제에서 뛰어난 성과를 거두었다. 오랫동안 연구의 주요 목표는 모델의 정확도를 높이는 것이었으며, 이는 모델의 복잡도가 비현실적으로 높더라도 관계없이 이루어졌다. 그러나 실시간 처리가 요구되는 생산용 솔루션의 경우 모델의 지연(latency)이 매우 중요한 요소가 된다. 현재 최첨단 아키텍처는 모델 복잡도를 고려한 신경망 아키텍처 탐색(Neural Architecture Search, NAS)을 통해 발견되고 있다. 그러나 특정 하드웨어에 최적화된 탐색 공간을 설계하는 것은 여전히 도전적인 과제이다. 이러한 문제를 해결하기 위해 우리는 신경망 아키텍처 탐색 공간의 하드웨어 효율성을 측정하는 새로운 지표인 '행렬 효율성 측도(Matrix Efficiency Measure, MEM)'를 제안한다. 또한 하드웨어 효율적인 연산을 포함하는 탐색 공간, 지연을 고려한 스케일링 방법, 그리고 전용 신경처리장치(NPU)에서 빠르고 정확한 성능을 동시에 달성하도록 설계된 ISyNet 아키텍처 세트를 제안한다. 제안한 아키텍처가 ImageNet 데이터셋에서 NPU 장치에 대해 우수한 성능을 보임을 보이며, 하류의 분류 및 탐지 작업에 대한 일반화 능력도 입증하였다.