CR-LSO: 입력 볼록 신경망을 활용한 그래프 변분 오토인코더의 잠재 공간 내 볼록 신경망 아키텍처 최적화

임베디드 공간 최적화(Latent Space Optimization, LSO) 기반의 신경망 아키텍처 탐색(Neural Architecture Search, NAS) 방법에서는 디지털 신경망 아키텍처를 연속적인 잠재 공간에 매핑하기 위해 깊은 생성 모델이 훈련된다. 이 경우, 연속 공간에서 작동하는 다양한 최적화 알고리즘을 활용하여 신경망 아키텍처를 탐색할 수 있다. 그러나 일반적으로 잠재 공간에서 아키텍처 성능으로의 매핑이 비볼록(non-convex)이기 때문에, 기울기 기반의 LSO에서 잠재 변수의 최적화는 도전적인 과제이다. 이러한 문제를 해결하기 위해 본 논문은 볼록성 정규화 잠재 공간 최적화(Convexity Regularized Latent Space Optimization, CR-LSO) 방법을 제안한다. 이 방법은 아키텍처 성능 매핑을 볼록하게 유지할 수 있도록 잠재 공간 학습 과정을 정규화하는 것을 목적으로 한다. 구체적으로, CR-LSO는 그래프 변분 오토인코더(G-VAE)를 훈련하여 이산적 아키텍처의 연속적 표현을 학습한다. 동시에, 입력 볼록 신경망(Input Convex Neural Networks, ICNNs)의 보장된 볼록성에 의해 잠재 공간의 학습 과정이 정규화된다. 이를 통해 G-VAE는 아키텍처 표현에서 아키텍처 성능으로의 볼록한 매핑을 학습하도록 강제된다. 이후 CR-LSO는 ICNN을 사용하여 성능 매핑을 근사하고, 추정된 기울기를 활용하여 신경망 아키텍처 표현을 최적화한다. 세 가지 대표적인 NAS 벤치마크에서의 실험 결과에 따르면, CR-LSO는 계산 복잡성과 아키텍처 성능 측면에서 경쟁력 있는 성능을 달성하였다.