색상 속의 자체주의: Transformers에서 그래프 구조를 인코딩하는 또 다른 시도

우리는 주어진 특징 채널을 독립적으로 조절하는 attention 필터(filter)로 주목도 점수의 개념을 확장하는 새로운 자기주도 주목 메커니즘, 즉 CSA(Chromatic Self-Attention)를 제안한다. 본 연구에서는 그래프 구조 정보와 엣지 특징을 동시에 통합하는 완전 주목형 그래프 트랜스포머인 CGT(Chromatic Graph Transformer)에 CSA를 적용하여, 지역적 메시지 전달 구성 요소를 완전히 회피하는 방법을 제시한다. 본 방법은 노드-노드 간 상호작용을 통해 원래 엣지 특징에 상대적 위치 인코딩 방식을 보완함으로써 그래프 구조를 유연하게 인코딩한다. 또한, 무작위 보행(random walk) 기반의 새로운 인코딩 방식을 제안하여 구조적 정보와 위치 정보를 동시에 표현하며, 분자 그래프 내의 고차원 위상 정보(예: 고리 구조)를 포함하는 방법도 제시한다. 제안한 접근법은 ZINC 벤치마크 데이터셋에서 최신 기준 성능을 달성하면서, 그래프 구조의 유연한 인코딩과 고차원 위상 정보의 통합을 가능하게 하는 유연한 프레임워크를 제공한다.