15일 전

FDGATII: 초기 잔여 및 항등 사상이 적용된 빠른 동적 그래프 주의 메커니즘

Gayan K. Kulatilleke, Marius Portmann, Ryan Ko, Shekhar S. Chandra
FDGATII: 초기 잔여 및 항등 사상이 적용된 빠른 동적 그래프 주의 메커니즘
초록

그래프 신경망(GNN)은 다양한 분야에서 인기를 끌고 있지만, 그래프 구조의 입력은 여전히 주요한 도전 과제를 안고 있다. 이는 (a) 과도한 평활화(over-smoothing), (b) 노이즈가 있는 이웃(이질성, heterophily), 그리고 (c) 정지 상태 문제(suspended animation problem) 때문이다. 이러한 문제들을 동시에 해결하기 위해, 우리는 주목력 기반의 어텐션 메커니즘이 선택적 정보에 집중할 수 있는 능력에 착안하여, 두 가지 특성 보존 메커니즘을 보완적으로 도입한 새로운 그래프 신경망인 FDGATII를 제안한다. FDGATII는 더 표현력이 풍부한 동적 자기 어텐션(dynamic self-attention)과 초기 잔차(Initial Residuals) 및 아이덴티티 매핑(Identity Mapping)을 결합함으로써, 이질적 데이터셋에서 흔히 발생하는 이웃 노이즈를 효과적으로 처리한다. 또한 희소 동적 어텐션(sparse dynamic attention)을 사용함으로써, 설계상 자연스럽게 병렬화가 가능하며, 연산 면에서도 효율적이므로 이론적으로 임의의 크기의 그래프에 쉽게 확장 가능하다. 제안된 방법은 7개의 데이터셋에서 광범위하게 평가되었으며, 전반적인 정확도와 성능 면에서 GAT 및 GCN 기반의 기준 모델들을 모두 능가함을 보였다. 특히 Chameleon 및 Cornell 데이터셋에서 도메인 특화 그래프 사전 처리 없이도 최신 기술(SOTA) 수준의 성능을 달성하였으며, 모델의 유연성과 공정성을 입증하였다.

FDGATII: 초기 잔여 및 항등 사상이 적용된 빠른 동적 그래프 주의 메커니즘 | 최신 연구 논문 | HyperAI초신경