랜덤 특징을 이용한 미분 가능한 아키텍처 탐색

차별 가능한 아키텍처 탐색(DARTS)은 높은 탐색 효율성과 효과성으로 인해 NAS 기술의 발전을 크게 촉진해왔으나, 성능 붕괴(Performance Collapse) 문제에 시달리고 있다. 본 논문에서는 DARTS의 성능 붕괴 문제를 두 가지 측면에서 완화하기 위해 노력한다. 첫째, DARTS에서 슈퍼넷(Supernet)의 표현력(Expressive Power)을 탐구한 후, 배치 정규화(BatchNorm)만을 훈련시키는 새로운 DARTS 패러다임을 제안한다. 둘째, 이론적으로 랜덤 특징(Random Features)이 슈퍼넷 최적화 과정에서 스킵 커넥션(Skip-Connection)의 보조 연결 역할을 약화시킨다는 점을 발견하였으며, 이로 인해 탐색 알고리즘이 더 공정한 연산 선택에 집중할 수 있게 되어 성능 붕괴 문제를 해결할 수 있다. 이를 바탕으로 랜덤 특징을 도입한 DARTS와 PC-DARTS를 각각 RF-DARTS 및 RF-PC-DARTS로 개선된 버전으로 구현하였다. 실험 결과, RF-DARTS는 CIFAR-10에서 \textbf{94.36\%}의 테스트 정확도를 달성하였으며, 이는 NAS-Bench-201에서 가장 근접한 최적 결과에 해당한다. 또한 CIFAR-10에서 전이된 결과로 ImageNet에서 최신 기준의 최고 성능을 기록하여, \textbf{24.0\%}의 top-1 테스트 오차를 달성하였다. 더불어 RF-DARTS는 CIFAR-10, CIFAR-100, SVHN 세 가지 데이터셋과 S1~S4 네 가지 탐색 공간에서 안정적이고 뛰어난 성능을 보였다. 또한 RF-PC-DARTS는 ImageNet에서 더욱 우수한 성능을 기록하여, \textbf{23.9\%}의 top-1 오차와 \textbf{7.1\%}의 top-5 오차를 달성하였으며, ImageNet에서 직접 탐색된 단일 경로(single-path), 훈련 불필요(training-free), 부분 채널(partial-channel) 패러다임을 포함한 대표적인 기법들을 초월하였다.