Graph2Seq: 주의 기반 신경망을 활용한 그래프에서 시퀀스 학습

유명한 시퀀스 투 시퀀스 학습(Seq2Seq) 기술과 그 수많은 변형들은 많은 작업에서 뛰어난 성능을 달성하였습니다. 그러나, 많은 머신 러닝 작업들은 그래프 형태로 자연스럽게 표현되는 입력들을 가지고 있으며, 기존의 Seq2Seq 모델들은 이러한 그래프 형태를 적절한 시퀀스로 정확하게 변환하는 데 큰 어려움을 겪고 있습니다. 이 문제를 해결하기 위해, 우리는 입력 그래프를 벡터 시퀀스로 매핑하고, 이 벡터들로부터 대상 시퀀스를 디코딩하기 위해 주의 메커니즘(attention-based) LSTM 방법을 사용하는 새로운 일반적인 엔드투엔드 그래프-투-시퀀스 신경망 인코더-디코더 모델을 제안합니다.우리의 방법은 먼저 개선된 그래프 기반 신경망과 새로운 집계 전략을 사용하여 노드와 그래프 임베딩을 생성합니다. 이 새로운 집계 전략은 노드 임베딩에 간선 방향 정보를 통합합니다. 또한, 우리는 노드 임베딩과 디코딩 시퀀스를 정렬하여 큰 그래프를 더 효과적으로 처리할 수 있는 주의 메커니즘을 도입하였습니다. bAbI, 최단 경로(Shortest Path), 그리고 자연어 생성(Natural Language Generation) 작업에 대한 실험 결과는 우리의 모델이 최고 수준의 성능을 달성하며, 기존의 그래프 신경망, Seq2Seq, 그리고 Tree2Seq 모델들보다 크게 우수함을 보여주었습니다. 제안된 양방향 노드 임베딩 집계 전략을 사용하면 모델이 최적 성능으로 빠르게 수렴할 수 있었습니다.