SGAS: 순차적 탐욕적 아키텍처 검색

아키텍처 설계는 성공적인 딥러닝의 핵심 요소로 부상하고 있다. 최근 자동 신경망 아키텍처 탐색(NAS, Neural Architecture Search) 분야의 진전은 큰 잠재력을 보여주고 있다. 그러나 발견된 아키텍처는 최종 평가에서 일반화 성능이 떨어지는 경우가 많다. 탐색 단계에서 더 높은 검증 정확도를 보였던 아키텍처가 평가 단계에서는 오히려 성능이 떨어지는 현상이 흔하다. 이러한 일반적인 문제를 완화하기 위해, 본 연구에서는 순차적 탐욕적 아키텍처 탐색(Sequential Greedy Architecture Search, SGAS)을 제안한다. SGAS는 탐색 과정을 하위 문제들로 분할하여, 탐색 가능한 연산들을 탐욕적으로 선택하고 제거함으로써 효율적인 아키텍처 탐색을 가능하게 한다. 본 방법은 합성곱 신경망(CNN)과 그래프 합성곱 신경망(GCN)의 아키텍처 탐색에 적용되었다. 광범위한 실험 결과, SGAS는 이미지 분류, 포인트 클라우드 분류, 단백질-단백질 상호작용 그래프의 노드 분류와 같은 다양한 작업에서 최첨단 수준의 아키텍처를 매우 낮은 계산 비용으로 탐색할 수 있음을 입증하였다. SGAS에 대한 자세한 정보는 https://www.deepgcns.org/auto/sgas 를 참조하시기 바랍니다.