15일 전

Auto-GNN: 그래프 신경망의 신경망 아키텍처 탐색

Kaixiong Zhou, Qingquan Song, Xiao Huang, Xia Hu
Auto-GNN: 그래프 신경망의 신경망 아키텍처 탐색
초록

그래프 신경망(GNN)은 그래프 구조 데이터에 효과적으로 적용된 바 있다. 특정 시나리오에서, 적절한 GNN 아키텍처를 식별하기 위해 풍부한 인간 전문 지식과 막대한 실험적 노력이 일반적으로 요구된다. 그 이유는 GNN 아키텍처의 성능이 그래프 컨볼루션 구성 요소(예: 집계 함수, 은닉 차원 등)의 선택에 크게 영향을 받기 때문이다. 신경망 아키텍처 탐색(NAS)은 이미지 및 언어 모델링 분야에서 학습 작업에 효과적인 딥 아키텍처를 탐색하는 데 잠재력을 보여주었다. 그러나 기존의 NAS 알고리즘은 GNN 탐색 문제에 직접 적용되기 어렵다. 첫째, GNN의 탐색 공간은 기존 NAS 연구에서 다루는 것들과 다름이 있다. 둘째, GNN 아키텍처의 표현 학습 능력은 아키텍처의 미세한 변경에도 크게 변화하기 때문에, 기존 탐색 방법의 효율성에 부정적인 영향을 미친다. 셋째, NAS에서 널리 사용되는 기법인 파라미터 공유 기법이 GNN 환경에서는 안정성이 떨어질 수 있다.이러한 격차를 극복하기 위해, 우리는 정의된 탐색 공간 내에서 최적의 GNN 아키텍처를 찾는 것을 목표로 하는 자동화된 그래프 신경망(AGNN) 프레임워크를 제안한다. AGNN은 소규모 단계를 통해 아키텍처를 탐욕적으로 검증하는 강화학습 기반의 컨트롤러를 설계하였다. 또한, 철저하게 설계된 동질성 정의를 바탕으로 동질적인 아키텍처 간에 파라미터를 공유할 수 있는 혁신적인 파라미터 공유 전략을 도입하였다. 실제 벤치마크 데이터셋을 활용한 실험 결과, AGNN이 탐색한 GNN 아키텍처는 기존 수작업으로 설계된 모델과 전통적인 탐색 방법 대비 최고의 성능을 달성함을 입증하였다.

Auto-GNN: 그래프 신경망의 신경망 아키텍처 탐색 | 최신 연구 논문 | HyperAI초신경