17일 전

IS-DARTS: 후보 중요도에 대한 정밀 측정을 통한 DARTS의 안정화

Hongyi He, Longjun Liu, Haonan Zhang, Nanning Zheng
IS-DARTS: 후보 중요도에 대한 정밀 측정을 통한 DARTS의 안정화
초록

기존의 신경망 아키텍처 탐색(Neural Architecture Search, NAS) 방법 중 DARTS는 효율성과 간단함으로 유명하다. 이 방법은 네트워크 표현의 연속적 완화(continuous relaxation)를 적용하여 가중치 공유를 가지는 슈퍼넷(supernet)을 구축하고, 몇 일 내의 GPU 시간만으로 우수한 하위 네트워크(subnet)를 탐지할 수 있다. 그러나 DARTS에서는 성능 붕괴(performance collapse) 현상이 발생하여, 파라미터가 없는 연산들로 가득 찬 열악한 아키텍처가 탐색되는 문제가 남아 있으며, 이는 강건성(robustness)에 큰 도전 과제로 남아 있다. 본 연구에서는 이 문제를 해결하기 위해 이론적 및 실험적 분석을 통해, 탐색 공간 내 후보 연산의 중요도를 편향된 방식으로 추정하는 것이 근본적인 원인임을 밝히고, 정보 기반 측정(information-based measurements)을 통해 보다 정확하게 연산을 선택함으로써 문제를 해결한다. 또한, 이중 최적화(bi-level optimization) 과정에서 슈퍼넷에 대한 과도한 집중과 데이터의 비효율적 활용이 최적 결과 도달을 방해한다는 점을 입증한다. 이를 해결하기 위해 하위 네트워크의 성능에 초점을 맞춘 보다 현실적인 목적 함수를 제안하고, 정보 기반 측정을 활용해 이를 단순화한다. 마지막으로, 이론적으로 슈퍼넷의 너비를 점진적으로 축소하는 것이 필수적임을 설명하며, DARTS에서 최적 가중치의 근사 오차(approximation error)를 줄이는 데 기여함을 보여준다. 제안하는 방법인 IS-DARTS는 DARTS의 전반적인 성능을 향상시키고, 앞서 언급한 문제들을 종합적으로 해결한다. NAS-Bench-201 및 DARTS 기반 탐색 공간에서 실시한 광범위한 실험을 통해 IS-DARTS의 효과성을 입증하였다.

IS-DARTS: 후보 중요도에 대한 정밀 측정을 통한 DARTS의 안정화 | 최신 연구 논문 | HyperAI초신경