18일 전

DU-DARTS: Differentiable Architecture Search의 불확실성 감소

{Xiaowei Li, Yiming Zeng, Jilin Mei, Zihao Sun, Longxing Yang, Yu Hu, Shun Lu}
DU-DARTS: Differentiable Architecture Search의 불확실성 감소
초록

차분 가능한 신경망 아키텍처 탐색(Differentiable Neural Architecture Search, DARTS)은 높은 효율성으로 인해 최근 많은 연구 주목을 받고 있다. 그러나 DARTS에서 후보 연산 간의 경쟁 구조는 진정한 중요한 연산을 선택하는 데 높은 불확실성을 초래하며, 이로 인해 성능 저하가 심각하게 발생할 수 있다. 본 연구에서는 아키텍처 파라미터의 분포가 one-hot 범주형 분포에 가까워지도록 제약을 부여하고, 영 연산(zero operation)을 게이트 스위치(gate switch)로 대체함으로써 차분 가능한 아키텍처 탐색의 불확실성을 감소시킨다(DU-DARTS). 추가적인 탐색 비용 없이 본 방법은 CIFAR-10, CIFAR-100, ImageNet 데이터셋에서 각각 2.32%, 16.74%, 24.1%의 테스트 오차를 달성하여 최신 기술 수준의 성능을 보였다. 또한 DU-DARTS는 NAS-Bench-1Shot1과 NAS-Bench-201에서 안정적으로 우수한 아키텍처를 탐색할 수 있어 본 방법의 효과성을 더욱 입증한다. 소스 코드는 다음 링크에서 확인할 수 있다: https://github.com/ShunLu91/DU-DARTS.

DU-DARTS: Differentiable Architecture Search의 불확실성 감소 | 최신 연구 논문 | HyperAI초신경