$β$-DARTS: 미분 가능한 아키텍처 검색을 위한 베타 붕괴 정규화

최근 몇 년간 신경망 아키텍처 탐색(Neural Architecture Search, NAS)은 깊은 신경망을 자동으로 설계할 수 있는 능력으로 인해 점점 더 많은 주목을 받고 있다. 그 중에서도 DARTS와 같은 미분 기반 NAS 접근법은 탐색 효율성이 높아 인기를 끌고 있다. 그러나 이러한 방법들은 성능 붕괴에 대한 약한 내성과 탐색된 아키텍처의 낮은 일반화 능력이라는 두 가지 주요 문제를 겪고 있다. 이러한 문제를 해결하기 위해, DARTS 기반 NAS 탐색 과정을 정규화하는 간단하면서도 효과적인 방법인 '베타 감소(Beta-Decay)'를 제안한다. 구체적으로, 베타 감소 정규화는 활성화된 아키텍처 파라미터의 값과 분산이 지나치게 커지는 것을 억제하는 제약 조건을 부여한다. 더불어, 이 방법이 어떻게 작동하며 왜 작동하는지에 대한 심층적인 이론적 분석도 제시한다. NAS-Bench-201에서의 실험 결과를 통해 제안한 방법이 탐색 과정을 안정화시키고, 다양한 데이터셋 간 전이 가능성(transferability)이 높은 네트워크를 탐색하는 데 기여함을 확인할 수 있다. 또한, 제안한 탐색 방식은 훈련 시간과 데이터 양에 덜 의존하는 뛰어난 특성을 보이며, 다양한 탐색 공간과 데이터셋에 대한 종합적인 실험을 통해 제안된 방법의 효과성을 입증한다.