기반 예측자 기반 NAS를 위한 일반적인 그래프 기반 신경망 아키텍처 인코딩 방식

본 연구는 예측기 기반 신경망 아키텍처 탐색(Neural Architecture Search, NAS)을 향상시키기 위해 새로운 그래프 기반 신경망 아키텍처 인코딩 기법, 즉 GATES(Graph-based neural ArchiTecture Encoding Scheme)를 제안한다. 특히 기존의 그래프 기반 기법들과 달리, GATES는 연산을 전파되는 정보의 변환으로 모델링함으로써 신경망 아키텍처의 실제 데이터 처리 과정을 모방한다. 이는 신경망 아키텍처를 더 합리적으로 표현하는 방식이며, 노드 위의 연산과 엣지 위의 연산을 모두 포함하는 셀 탐색 공간에서 아키텍처를 일관되게 인코딩할 수 있다. 다양한 탐색 공간에서 수행된 실험 결과는 GATES가 성능 예측기의 성능을 향상시키는 데 효과적임을 입증한다. 더불어 개선된 성능 예측기를 갖춘 결과, 예측기 기반 신경망 아키텍처 탐색(NAS) 흐름의 샘플 효율성이 크게 향상된다. 코드는 https://github.com/walkerning/aw_nas 에서 제공된다.