CATE: Transformer를 활용한 계산량 인지 신경망 아키텍처 인코딩

최근 연구들(Wite et al., 2020a; Yan et al., 2020)은 신경망 아키텍처 탐색(Neural Architecture Search, NAS)에서 아키텍처 인코딩의 중요성을 입증하였다. 이러한 인코딩들은 신경망 아키텍처의 구조 정보 또는 계산 정보를 표현한다. 구조 인지형 인코딩과 비교하여, 계산 인지형 인코딩은 유사한 정확도를 가지는 아키텍처들을 동일한 영역에 매핑함으로써, 후속 아키텍처 탐색 성능을 향상시킨다(Zhang et al., 2019; White et al., 2020a). 본 연구에서는 계산 인지형 Transformer 기반 인코딩 기법인 CATE(Calculation-Aware Transformer-based Encoding)를 제안한다. 기존의 고정된 변환 기반 계산 인지형 인코딩(예: 경로 인코딩)과 달리, CATE는 교차 주의(multi-head cross-attention)를 갖춘 Transformer를 사용하여 쌍별 사전 훈련(pairwise pre-training) 방식을 통해 계산 인지형 인코딩을 학습한다. 이러한 학습된 인코딩은 신경망 아키텍처의 밀집된 및 맥락 기반 계산 정보를 포함한다. 우리는 CATE를 소규모 및 대규모 탐색 공간에서 세 가지 주요 인코딩 의존형 NAS 하위 절차에 대해 11개의 다른 인코딩과 비교하였다. 실험 결과, CATE는 특히 대규모 탐색 공간에서 후속 탐색에 유리한 성능을 보였다. 또한, 학습된 탐색 공간 외부에서 수행된 실험을 통해, CATE가 학습된 탐색 공간을 초월한 뛰어난 일반화 능력을 갖추고 있음을 확인하였다. 본 연구의 코드는 다음 링크에서 공개되어 있다: https://github.com/MSU-MLSys-Lab/CATE.