초록
본 논문은 아키텍처 검색의 확장성 문제를 미분 가능한 방식으로 정식화함으로써 해결하고자 합니다. 기존의 이산적이고 비미분 가능한 검색 공간에서 진화 알고리즘이나 강화 학습을 적용하는 방법과 달리, 본 연구에서는 아키텍처 표현의 연속적 완화를 기반으로 하여 그래디언트 디센트를 사용하여 효율적인 아키텍처 검색이 가능하도록 하였습니다. CIFAR-10, ImageNet, Penn Treebank 및 WikiText-2에 대한 광범위한 실험 결과, 본 알고리즘이 이미지 분류용 고성능 컨볼루션 아키텍처와 언어 모델링용 순환 아키텍처를 발견하는 데 우수하며, 최신 비미분 기술보다 수십 배 빠르다는 것을 보여주었습니다. 본 연구의 구현은 효율적인 아키텍처 검색 알고리즘에 대한 추가 연구를 촉진하기 위해 공개되었습니다.