최근 Transformer 아키텍처는 그래프 표현 학습 분야에서 점차 주목받고 있다. 이는 그래프 신경망(GNN)이 가진 엄격한 구조적 인덕티브 바이어스를 피함으로써 여러 한계를 자연스럽게 극복할 수 있기 때문이다. 대신 그래프 구조는 위치 인코딩( positional encoding)을 통해만 인코딩된다. 본 연구에서는 위치 인코딩을 사용하는 Transformer가 생성하는 노드 표현이 반드시 구조적 유사성을 반영하는 것은 아님을 보여준다. 이러한 문제를 해결하기 위해, 새로운 자기주의(self-attention) 메커니즘을 기반으로 한 구조 인지형 Transformer(Structure-Aware Transformer)를 제안한다. 이 새로운 자기주의는 각 노드를 루트로 하는 부분그래프(subgraph) 표현을 미리 추출한 후, 원래 자기주의에 구조 정보를 통합함으로써 구조적 정보를 효과적으로 반영한다. 우리는 부분그래프 표현을 자동으로 생성하기 위한 여러 방법을 제안하였으며, 이론적으로 생성된 표현이 부분그래프 표현만큼은 적어도 동등하게 표현력이 있음을 보였다. 실험적으로는 다섯 개의 그래프 예측 벤치마크에서 최신 기술(SOTA) 성능을 달성하였다. 제안하는 구조 인지형 프레임워크는 기존의 GNN을 활용하여 부분그래프 표현을 추출할 수 있으며, 기존 GNN 모델에 비해 체계적으로 성능 향상을 보임을 보여주었다. 이는 GNN과 Transformer의 장점을 효과적으로 결합한 성공적인 사례이다. 코드는 https://github.com/BorgwardtLab/SAT 에서 공개되어 있다.