DARTS-: 지표 없이 성능 붕괴에서 견고하게 탈출하기 위한 로버스트한 단계적 접근

다양한 미분 가능한 아키텍처 탐색(DARTS) 기술의 빠른 발전에도 불구하고, 오랜 기간에 걸쳐 성능의 불안정성 문제에 시달리고 있으며, 이는 그 응용 가능성을 극도로 제한하고 있다. 기존의 안정화 기법들은 성능 저하를 초래하는 원인을 파악하기보다는, 이미 나타난 성능 악화 현상에서 힌트를 얻는 방식을 취하고 있다. 헤시안 고유값(Hessian eigenvalues)과 같은 다양한 지표를 도입하여 성능 붕괴가 발생하기 전에 탐색을 중단하는 방식이 제안되었으나, 이러한 지표 기반 방법은 임계값이 적절히 설정되지 않았을 경우 좋은 아키텍처를 쉽게 배제할 수 있으며, 더 나아가 탐색 자체가 본질적으로 노이즈가 많다는 점을 감안하면 더욱 문제가 된다. 본 논문에서는 이러한 붕괴 현상을 더 정교하고 직접적으로 해결하기 위한 새로운 접근을 제안한다. 먼저, 스킵 연결(skip connections)이 다른 후보 연산들에 비해 명확한 우위를 가짐을 입증한다. 스킵 연결은 불리한 상태에서도 쉽게 회복할 수 있으며, 결과적으로 주도적인 역할을 할 수 있다. 우리는 이러한 우위가 성능 저하를 유발하는 원인일 것이라고 추측한다. 따라서, 이 우위를 보조적인 스킵 연결을 통해 분리하여 모든 연산 간의 공정한 경쟁을 보장하는 방법을 제안한다. 본 방법을 DARTS-라 명명한다. 다양한 데이터셋에 대한 광범위한 실험을 통해 DARTS-가 안정성 측면에서 상당한 개선을 이끌어낼 수 있음을 검증하였다. 본 연구의 코드는 https://github.com/Meituan-AutoML/DARTS- 에서 공개되어 있다.