NAS-LID: 로컬 내재 차원을 활용한 효율적인 신경망 아키텍처 탐색

일샷 신경망 아키텍처 탐색(NAS)은 하나의 슈퍼넷을 학습시켜 모든 가능한 자식 아키텍처(즉, 서브넷)의 성능을 추정함으로써 탐색 효율성을 크게 향상시킨다. 그러나 서브넷 간 특성의 불일치로 인해 최적화 과정에서 심각한 간섭이 발생하여 서브넷의 성능 순위 상관관계가 낮아지는 문제가 발생한다. 이후의 연구들은 특히 기울기 일치(gradient matching)와 같은 특정 기준을 통해 슈퍼넷 가중치를 분해함으로써 간섭을 줄이려 했으나, 이 방법들은 막대한 계산 비용과 낮은 공간 분리성이라는 문제를 겪고 있다. 본 연구에서는 경량화되고 효과적인 로컬 내재 차원(LID, local intrinsic dimension) 기반의 방법인 NAS-LID를 제안한다. NAS-LID는 각 레이어별로 저비용으로 계산 가능한 LID 특징을 활용하여 아키텍처의 기하학적 특성을 평가하며, LID로 특징화된 유사도는 기울기보다 더 뛰어난 분리성을 보이며, 결과적으로 서브넷 간 간섭을 효과적으로 감소시킨다. NASBench-201에서 실시한 광범위한 실험 결과, NAS-LID는 더 높은 성능과 효율성을 동시에 달성함을 입증하였다. 구체적으로, 기울기 기반 방법과 비교했을 때 NASBench-201에서 탐색 시 GPU 메모리 사용량을 최대 86% 절감할 수 있다. 또한 NAS-LID의 효과는 ProxylessNAS 및 OFA 아키텍처 공간에서도 검증되었다. 소스 코드: https://github.com/marsggbo/NAS-LID.