iDARTS: 노드 정규화 및 비상관 이산화를 통한 DARTS 개선

다이퍼런셔블 아키텍처 서치(DARTS)는 네트워크 표현의 연속적 리라크스를 사용하여 GPU-일 기준으로 신경망 아키텍처 탐색(NAS)을 거의 천 배 이상 가속화한다. 그러나 DARTS의 탐색 과정은 불안정하며, 학습 에포크가 증가함에 따라 심각한 성능 저하를 겪는다는 문제가 존재하여 그 응용 범위가 제한된다. 본 논문에서는 이 성능 저하 현상이 서로 다른 노드 간의 노름 불균형과 다양한 연산에서 유도되는 출력 간 높은 상관성에 기인한다고 주장한다. 이를 해결하기 위해 두 가지 문제를 동시에 다루는 개선된 DARTS 버전인 iDARTS를 제안한다. 학습 단계에서는 노드 정규화를 도입하여 노름 균형을 유지하며, 디지털화 단계에서는 아키텍처 파라미터의 값이 아닌 노드 출력과 비상관화된 연산 간의 유사도를 기반으로 연속 아키텍처를 근사한다. CIFAR-10과 ImageNet에서 폭넓은 실험을 수행한 결과, 각각 0.2 및 1.9 GPU-일 내에 아키텍처 탐색을 수행한 경우 오류율이 2.25%와 24.7%로 보고되었으며, 본 방법의 효과성을 입증한다. 추가 분석을 통해 iDARTS가 다른 DARTS 기반 기법들에 비해 더 우수한 안정성과 일반화 능력을 갖추고 있음을 확인할 수 있었다.