TNASP: 자기진화 프레임워크를 갖춘 Transformer 기반의 NAS 예측기

기반 예측자(Neural Architecture Search, NAS) 기반의 NAS는 전통적인 NAS 방법에서 발생하는 시간 소모적인 탐색 절차를 완화하고자 하는 목표를 가지고 있어 여전히 중요한 주제로 남아 있다. 기반 예측자 기반 NAS 방법에서 최종 탐색된 모델의 품질을 결정짓는 핵심 요소는 성능 예측자의 성능이다. 기존의 대부분의 기반 예측자 기반 방법들은 대체 데이터셋(proxy dataset) 설정 하에서 모델 기반 예측자를 학습하지만, 이는 그래프 구조 데이터의 공간적 위상 정보를 효과적으로 표현하지 못하는 한계로 인해 정확도 저하 및 일반화 문제에 취약할 수 있다. 공간적 위상 정보를 효과적으로 인코딩하지 못하는 문제 외에도, 이러한 기존 연구들은 학습 과정 중에 발생하는 과거 평가 결과와 같은 시계적 정보를 활용하지 못했다. 이에 따라 본 연구에서는 라플라시안 행렬 기반의 위치 인코딩 전략을 도입한 Transformer 기반의 NAS 성능 예측자를 제안한다. 이는 그래프 구조 데이터의 위상 정보를 더 잘 표현하며, NAS-Bench-101, NAS-Bench-201, 그리고 DARTS 탐색 공간에서 기존 최고 성능의 방법들보다 우수한 성능을 달성한다. 더불어, 과거 예측 결과의 평가를 반복적으로 현재 최적화 반복에 제약 조건으로 포함함으로써 시계적 정보를 보다 효과적으로 활용할 수 있는 자기 진화(self-evolution) 프레임워크를 제안한다. 이 프레임워크는 모델에 독립적이므로 다양한 백본 구조에 대해 예측 작업의 성능 향상에 기여할 수 있다. 본 연구에서 제안한 방법은 CVPR 2021 NAS 경쟁 대회 2번 트랙(성능 예측 트랙)에서 전체 팀 중 2위를 차지하는 성과를 거두었다.