iDARTS: 확률적 은유적 기울기를 활용한 미분 가능한 아키텍처 탐색

\textit{Differentiable ARchiTecture Search} (DARTS)는 효율성과 간결성 덕분에 최근 신경망 아키텍처 탐색(NAS)의 주류 기법으로 부상하였다. DARTS는 가중치 공유 슈퍼넷을 기반으로, 그라디언트 기반 이중 레벨 최적화를 통해 내부 모델 가중치와 외부 아키텍처 파라미터를 번갈아 최적화한다. 학습된 아키텍처의 확장성과 품질을 좌우하는 핵심 과제는 내부 루프 최적화 과정에 대한 미분이 필요하다는 점이다. DARTS의 여러 잠재적 치명적 요인들에 대해 많은 논의가 이루어졌지만, 아키텍처 그라디언트(즉, 하이퍼그라디언트)에 대한 관심은 상대적으로 부족했다. 본 논문에서는 은닉 함수 정리(implicit function theorem)를 기반으로 DARTS 내 하이퍼그라디언트를 계산하는 방법을 제안하며, 이는 내부 루프 최적화의 해에만 의존하고 최적화 경로에 무관함을 보장한다. 또한 계산 비용을 추가로 절감하기 위해, 미분 가능한 NAS를 위한 확률적 하이퍼그라디언트 근사법을 제안하고, 제안된 방법을 iDARTS라 명명하며 이 방법을 사용한 아키텍처 최적화가 정상점(stationary point)으로 수렴할 것으로 이론적으로 보여준다. 두 개의 NAS 벤치마크 검색 공간과 일반적인 NAS 검색 공간에서 실시한 종합적인 실험을 통해 제안한 방법의 유효성을 입증하였다. 그 결과, 기준 방법으로 학습된 아키텍처에 비해 상당한 성능 차이를 보이는 우수한 아키텍처를 도출할 수 있었다.