NAS-OoD: 분포 외 일반화를 위한 신경망 아키텍처 탐색

최근 분포 외 일반화(Out-of-Distribution, OoD)에 대한 연구 진전은 딥러닝 모델이 분포 변화에 대해 뛰어난 강건성을 보임을 드러냈다. 그러나 기존 연구들은 불변 위험 최소화(invariant risk minimization), 도메인 일반화(domain generalization), 안정적 학습(stable learning) 등의 OoD 알고리즘에 집중하며, 딥 모델 아키텍처가 OoD 일반화에 미치는 영향을 고려하지 않았다. 이는 하위 최적의 성능을 초래할 수 있다. 신경망 아키텍처 탐색(Neural Architecture Search, NAS) 기법은 훈련 데이터에서의 성능을 기준으로 아키텍처를 탐색하기 때문에, 분포 외 작업에 대한 일반화 능력이 떨어질 수 있다. 본 연구에서는 OoD 일반화를 위한 강건한 신경망 아키텍처 탐색(NAS-OoD)을 제안한다. 이 방법은 그래디언트 강하를 통해 생성된 OoD 데이터에서의 성능을 최적화함으로써 아키텍처를 개선한다. 구체적으로, 다양한 신경망 아키텍처에 의해 계산된 손실을 최대화함으로써 분포 외 데이터를 합성하는 데이터 생성기를 학습시키며, 아키텍처 탐색의 목적은 이러한 합성 OoD 데이터의 손실을 최소화하는 최적의 아키텍처 파라미터를 찾는 것이다. 데이터 생성기와 신경망 아키텍처는 엔드투엔드 방식으로 공동 최적화되며, 미니맥스 학습 과정을 통해 다양한 분포 변화에 잘 일반화하는 강건한 아키텍처를 효과적으로 탐지할 수 있다. 광범위한 실험 결과는 NAS-OoD가 다양한 OoD 일반화 벤치마크에서 깊은 모델이 훨씬 적은 파라미터 수로도 우수한 성능을 달성함을 보여준다. 또한 실질 산업 데이터셋에서 제안된 NAS-OoD 방법은 최신 기술 대비 오류율을 70% 이상 감소시켰으며, 실제 응용에 있어 제안된 방법의 실용성을 입증한다.