$Λ$-DARTS: 셀 간 연산 선택의 조화를 통해 성능 붕괴 완화하기

다이퍼렌시블 신경망 아키텍처 탐색(DARTS)은 신경망 아키텍처 탐색(NAS)에서 널리 사용되는 방법으로, 셀 탐색을 수행하고 연속적 근사(continuous relaxation)를 활용하여 기울기 기반 최적화를 통해 탐색 효율을 향상시킨다. DARTS의 주요 단점은 성능 붕괴(performance collapse)로, 탐색 과정 중 발견된 아키텍처의 품질이 지속적으로 저하되는 패턴을 보이는 것이다. 성능 붕괴는 현재 중요한 연구 주제로 자리 잡았으며, 정규화(regularization)를 통하거나 DARTS의 근본적인 구조를 변경하는 다양한 방법들이 이 문제를 해결하기 위해 제안되어 왔다. 그러나 DARTS에서 셀 탐색에 사용되는 가중치 공유(weight-sharing) 프레임워크와 아키텍처 파라미터의 수렴성에 대한 분석은 아직 이루어지지 않았다. 본 논문에서는 DARTS 및 그 수렴점에 대해 체계적이고 새로운 이론적 및 실험적 분석을 제공한다. 우리는 DARTS가 가중치 공유 프레임워크로 인해 특정한 구조적 결함을 야기하며, 이로 인해 아키텍처의 수렴이 소프트맥스(softmax) 함수의 포화점(saturation points)에 국한된다는 점을 밝혀낸다. 이러한 수렴점은 출력에 가까운 층들이 최적 아키텍처 선택에서 부당한 이점을 얻게 하여 성능 붕괴를 초래함을 보여준다. 이를 해결하기 위해, 층 간 기울기의 정렬을 통해 연산 선택을 조화롭게 하여 성능 붕괴를 방지하는 두 가지 새로운 정규화 항을 제안한다. 여섯 가지 다른 탐색 공간과 세 가지 다른 데이터셋에서 수행한 실험 결과는, 제안한 방법($Λ$-DARTS)이 실제로 성능 붕괴를 방지함을 입증하며, 이론적 분석과 제안된 해결책의 타당성을 뒷받침한다.