18일 전
DU-DARTS: Differentiable Architecture Search의 불확실성 감소
{Xiaowei Li, Yiming Zeng, Jilin Mei, Zihao Sun, Longxing Yang, Yu Hu, Shun Lu}

초록
차분 가능한 신경망 아키텍처 탐색(Differentiable Neural Architecture Search, DARTS)은 높은 효율성으로 인해 최근 많은 연구 주목을 받고 있다. 그러나 DARTS에서 후보 연산 간의 경쟁 구조는 진정한 중요한 연산을 선택하는 데 높은 불확실성을 초래하며, 이로 인해 성능 저하가 심각하게 발생할 수 있다. 본 연구에서는 아키텍처 파라미터의 분포가 one-hot 범주형 분포에 가까워지도록 제약을 부여하고, 영 연산(zero operation)을 게이트 스위치(gate switch)로 대체함으로써 차분 가능한 아키텍처 탐색의 불확실성을 감소시킨다(DU-DARTS). 추가적인 탐색 비용 없이 본 방법은 CIFAR-10, CIFAR-100, ImageNet 데이터셋에서 각각 2.32%, 16.74%, 24.1%의 테스트 오차를 달성하여 최신 기술 수준의 성능을 보였다. 또한 DU-DARTS는 NAS-Bench-1Shot1과 NAS-Bench-201에서 안정적으로 우수한 아키텍처를 탐색할 수 있어 본 방법의 효과성을 더욱 입증한다. 소스 코드는 다음 링크에서 확인할 수 있다: https://github.com/ShunLu91/DU-DARTS.