2달 전

게이트 그래프 시퀀스 신경망

Li, Yujia ; Tarlow, Daniel ; Brockschmidt, Marc ; Zemel, Richard
게이트 그래프 시퀀스 신경망
초록

그래프 구조의 데이터는 화학, 자연어 의미론, 소셜 네트워크 및 지식 기반 등 다양한 분야에서 자주 나타납니다. 본 연구에서는 그래프 구조의 입력에 대한 특성 학습 기술을 조사합니다. 출발점은 Scarselli 등(2009)이 제안한 그래프 신경망(Graph Neural Networks, GNN)에 관한 이전 연구입니다. 우리는 이를 게이트된 순환 유닛(gated recurrent units, GRU)과 최신 최적화 기법을 사용하도록 수정하고, 시퀀스 출력으로 확장하였습니다. 그 결과로 얻어진 모델은 순수한 시퀀스 기반 모델(예: LSTM)보다 그래프 구조화된 문제에 대해 유리한 귀납 편향(inductive biases)을 가진 유연하고 광범위하게 활용할 수 있는 신경망 모델 클래스가 되었습니다. 우리는 이러한 능력을 간단한 인공지능(bAbI) 및 그래프 알고리즘 학습 과제를 통해 입증하였으며, 하위 그래프를 추상적인 데이터 구조와 일치시키는 프로그램 검증(program verification) 문제에서 최고 수준의 성능을 달성함을 보여주었습니다.

게이트 그래프 시퀀스 신경망 | 최신 연구 논문 | HyperAI초신경