초록
최근 그래프 학습을 위한 트랜스포머 기반 아키텍처에 대한 관심이 급증하고 있습니다. 이는 주로 주의 메커니즘이 효과적인 학습 방법임을 인정받고, 메시지 전달 방식의 특징인 수작업으로 만든 연산자를 대체하려는 욕구에 의해 촉진되었습니다. 그러나, 이러한 모델들의 경험적 효율성, 확장성, 그리고 사전 처리 단계의 복잡성에 대한 우려가 제기되고 있습니다. 특히, 다양한 벤치마크에서 이들과 거의 동등한 성능을 보이는 훨씬 간단한 그래프 신경망과 비교할 때 더욱 그렇습니다.이러한 문제점을 해결하기 위해, 우리는 그래프를 엣지의 집합으로 간주하고 순수하게 주의 메커니즘에 기반한 접근법을 제안합니다. 이 접근법은 인코더와 주의 풀링 메커니즘으로 구성됩니다. 인코더는 마스크된 자기주의 모듈과 일반적인 자기주의 모듈을 수직적으로 교차하여 엣지의 효과적인 표현을 학습하며, 입력 그래프에서 가능한 오류를 해결하는 데도 도움을 줍니다. 이 접근법은 매우 간단함에도 불구하고 70개 이상의 노드 및 그래프 수준 작업, 특히 어려운 장거리 벤치마크에서 세부 조정된 메시지 전달 기반 모델과 최근 제안된 트랜스포머 기반 방법론보다 우수한 성능을 보입니다.또한, 분자 그래프부터 비전 그래프까지 다양한 작업에서 최신 연구 결과를 달성하며, 이질적 노드 분류에서도 뛰어난 성능을 보입니다. 이 접근법은 전이 학습 환경에서도 그래프 신경망과 트랜스포머보다 우수한 성능을 보이며, 유사한 성능 수준이나 표현력을 가진 다른 대안들보다 훨씬 더 잘 확장됩니다.