트랜스포머가 방향 그래프를 만나다

트랜스포머는 처음에 텍스트를 위한 시퀀스-투-시퀀스 모델로 제안되었지만, 이미지, 오디오, 비디오, 그리고 비방향 그래프 등 다양한 모달리티에서 필수적인 역할을 하게 되었습니다. 그러나 방향 그래프를 위한 트랜스포머는 소스 코드와 논리 회로 등 보편적인 영역에도 적용 가능함에도 불구하고 놀랍게도 연구가 충분히 이루어지지 않은 주제입니다. 본 연구에서는 방향과 구조를 인식하는 두 가지 위치 인코딩을 방향 그래프에 대해 제안합니다: (1) 방향성을 고려한 조합적 라플라시안의 일반화인 자기장 라플라시안(Magnetic Laplacian)의 고유벡터; (2) 방향적 랜덤 워크 인코딩. 경험적으로, 우리는 이 추가적인 방향성 정보가 정렬 네트워크의 올바름 테스트와 소스 코드 이해 등의 다양한 다운스트림 작업에서 유용하다는 것을 보여줍니다. 데이터 흐름 중심의 그래프 구성과 함께 사용할 때, 우리의 모델은 오픈 그래프 벤치마크 코드2에서 기존 최고 수준의 성능보다 14.7% 개선된 결과를 보였습니다.