AlphaX: 딥 뉴럴 네트워크와 몬테카를로 트리 탐색을 이용한 신경망 구조 탐색

신경망 구조 탐색(Neural Architecture Search, NAS)은 신경망 설계의 자동화에서 큰 성공을 거두었지만, 현재 NAS 방법론 뒤에 있는 금지적인 수준의 계산량은 더 나은 결과를 더 짧은 시간 내에 얻기 위해 샘플 효율성과 네트워크 평가 비용을 개선하는 추가 연구가 필요함을 시사하고 있습니다. 본 논문에서는 이러한 두 가지 측면을 해결하기 위한 새로운 확장 가능한 몬테카를로 트리 탐색(Monte Carlo Tree Search, MCTS) 기반 NAS 에이전트인 AlphaX를 제시합니다.AlphaX는 상태 수준에서 탐사와 활용(exploration and exploitation)을 적응적으로 균형 잡아 탐색 효율성을 향상시키며, 메타-딥 뉴럴 네트워크(Meta-Deep Neural Network, DNN)를 사용하여 네트워크 정확도를 예측하여 유망한 영역으로 탐색을 편향시키는 방식을 도입하였습니다. 네트워크 평가 비용을 감소시키기 위해 AlphaX는 분산 설계를 통해 MCTS 롤아웃(rollouts)을 가속화하며, MCTS의 트리 구조로 안내되는 전이 학습(transfer learning)을 통해 네트워크 평가 시 에포크(epoch) 수를 줄입니다.12일간의 GPU 연산과 1000개의 샘플링으로 AlphaX는 CIFAR-10에서 97.84%의 최고 정확도(top-1 accuracy), ImageNet에서 75.5%의 최고 정확도를 달성하는 아키텍처를 발견하였으며, 이는 정확도와 샘플링 효율성 모두에서 최신 기술(SOTA) NAS 방법론들을 능가하였습니다. 특히, 대규모 NAS 데이터셋인 NASBench-101에서도 AlphaX의 성능을 평가한 결과, 글로벌 최적해(global optimum)를 찾는데 있어 무작위 탐색(Random Search)보다 3배, 규제 진화(Regularized Evolution)보다 2.8배 더 샘플 효율적이었습니다. 마지막으로, 검색된 아키텍처가 신경 스타일 변환(Neural Style Transfer), 이미지 캡셔닝(Image Captioning), 객체 인식(Object Detection) 등 다양한 비전 응용 분야에서 성능 향상을 가져왔음을 보여주었습니다.