FBNetV2: 공간적 및 채널 차원을 위한 미분 가능한 신경망 아키텍처 탐색

차분 가능 신경망 아키텍처 탐색(Differentiable Neural Architecture Search, DNAS)은 최첨단이며 효율적인 신경망 설계에 큰 성공을 거두었다. 그러나 기존 DARTS 기반 DNAS는 모든 후보 네트워크 계층을 메모리에 명시적으로 생성해야 하는 제약으로 인해, 다른 탐색 방법에 비해 탐색 공간이 제한적이다. 이 문제를 해결하기 위해, 메모리 및 계산 비용 측면에서 효율적인 DNAS 변형인 DMaskingNAS를 제안한다. 본 알고리즘은 기존 DNAS 대비 최대 $10^{14}$배에 달하는 탐색 공간을 확장하며, 기존에는 비용이 지나치게 높아 탐색이 어려웠던 공간적 차원과 채널 차원(입력 해상도 및 필터 수)을 포함한 탐색을 가능하게 한다. 이를 위해 특징 맵 재사용을 위한 마스킹 메커니즘을 도입함으로써, 탐색 공간이 확장되더라도 메모리 및 계산 비용이 거의 일정하게 유지된다. 또한, 단위 FLOP 또는 단위 파라미터당 정확도를 극대화하기 위해 효과적인 형태 전파(Shape Propagation) 기법을 활용한다. 최종적으로 탐색된 FBNetV2 모델들은 이전 모든 아키텍처와 비교해 최첨단 성능을 보이며, 최대 421배 적은 탐색 비용으로 MobileNetV3-Small보다 0.9% 높은 정확도와 15% 적은 FLOPs를 달성한다. 또한 Efficient-B0와 유사한 정확도를 유지하면서 20% 적은 FLOPs를 제공한다. 더불어, 모델 크기와 동일한 조건에서 MobileNetV3보다 정확도가 2.6% 향상된다. FBNetV2 모델은 공개된 소스 코드를 통해 https://github.com/facebookresearch/mobile-vision 에서 제공된다.