13일 전

서클 특징 그래포머: 서클 특징은 그래프 트랜스포머를 자극할 수 있는가?

Jingsong Lv, Hongyang Chen, Yao Qi, Lei Yu
서클 특징 그래포머: 서클 특징은 그래프 트랜스포머를 자극할 수 있는가?
초록

본 논문에서는 ogbl-citation2에서의 누락 링크 예측 작업을 위해 두 가지 국소 그래프 특징을 제안한다. 이러한 특징들을 '원형 특징(Circle Features)'이라 정의하며, 이는 '친구의 원(circle of friends)' 개념에서 영감을 얻었다. 제안된 특징에 대한 구체적인 계산 공식을 제시한다. 먼저, 일반 그래프에서 유래한 이분 그래프(bipartite graph)의 맥락에서 수정된 스윙(modified swing)을 첫 번째 원형 특징으로 정의한다. 둘째, 두 노드가 서로 다른 친구의 원에 속하는 데 있어 가지는 중요도를 나타내는 '브리지(bridge)'를 두 번째 원형 특징으로 정의한다. 또한 본 연구는 이러한 특징들을 그래프 트랜스포머 신경망에 편향(bias)으로 도입하는 최초의 시도를 한다. 이를 통해 그래프 자기주의(self-attention) 메커니즘의 성능을 향상시키고자 하였다. 기존의 SIEG 네트워크를 기반으로, 전역 및 국소 구조 특징을 동시에 캡처하기 위해 이중 타워(double tower) 구조를 활용한 '원형 특징 인식 그래프 트랜스포머(Circled Feature aware Graph Transformer, CFG)' 모델을 구현하였다. 실험 결과, CFG 모델은 ogbl-citation2 데이터셋에서 최고 수준의 성능을 달성하였다.

서클 특징 그래포머: 서클 특징은 그래프 트랜스포머를 자극할 수 있는가? | 최신 연구 논문 | HyperAI초신경