지식 그래프에서 텍스트 생성을 위한 그래프 구조의 상대적 위치 모델링

우리는 그래포머(Graformer)를 소개합니다. 이는 그래프-텍스트 생성을 위한 새로운 트랜스포머 기반 인코더-디코더 아키텍처입니다. 우리의 혁신적인 그래프 자기 주의 메커니즘을 통해, 노드의 인코딩은 입력 그래프 내의 모든 노드에 의존하며, 직접적인 이웃 노드뿐만 아니라 전역 패턴의 탐지를 용이하게 합니다. 두 노드 간의 관계는 그들 사이의 최단 경로 길이로 표현됩니다. 그래포머는 다양한 주의 헤드에 대해 이러한 노드-노드 관계를 다르게 가중치를 부여하도록 학습하여, 사실상 입력 그래프의 서로 다른 연결 구조를 학습합니다. 우리는 AGENDA와 WebNLG라는 두 가지 유명한 그래프-텍스트 생성 벤치마크에서 그래포머를 평가하였으며, 이는 적은 매개변수를 사용하면서도 강력한 성능을 보였습니다.