최근, 그래프 표현 학습을 위한 트랜스포머가 점점 더 인기를 얻고 있으며, 단독으로 또는 메시지 전달 그래프 신경망(MP-GNNs)과 결합하여 다양한 그래프 데이터셋에서 최고 수준의 성능을 달성하고 있습니다. 구조적으로 무지한 트랜스포머 아키텍처에 구조적 또는 위치 인코딩(PEs) 형태로 그래프 유도 편향을 주입하는 것이 이러한 뛰어난 결과를 달성하는 데 핵심적인 역할을 합니다. 그러나 이러한 인코딩을 설계하는 것은 까다롭고, 라플라시안 고유벡터, 상대적 랜덤 워크 확률(RRWP), 공간 인코딩, 중심성 인코딩, 엣지 인코딩 등과 같은 다양한 시도가 이루어져 왔습니다. 본 연구에서는 주의 메커니즘이 자체적으로 그래프 구조 정보를 통합할 경우 이러한 인코딩이 전혀 필요하지 않을 수 있다는 주장을 제기합니다. 우리는 새로운 스펙트럼 인식 주의 메커니즘을 사용하는 그래프 트랜스포머인 Eigenformer를 소개하며, 이 모델이 여러 표준 GNN 벤치마크에서 최신 기술(SOTA) 그래프 트랜스포머와 경쟁력 있는 성능을 보임을 경험적으로 입증하였습니다. 또한, 이론적으로 Eigenformer가 다양한 그래프 구조 연결 행렬을 표현할 수 있음을 증명하였으며, 특히 작은 규모의 그래프에서 학습할 때这一点尤为重要。 （注：最后一句“这一点尤为重要”在韩文中可以翻译为“이는 특히 중요하다”以保持句子的连贯性和完整性。）修正后的翻译：또한, 이론적으로 Eigenformer가 다양한 그래프 구조 연결 행렬을 표현할 수 있음을 증명하였으며, 특히 작은 규모의 그래프에서 학습할 때 이는 특히 중요하다.