15일 전

메시지 전달 메커니즘에서 차수 편향을 완화하기 위한 커뮤니티 구조 활용

Van Thuy Hoang, O-Joun Lee
메시지 전달 메커니즘에서 차수 편향을 완화하기 위한 커뮤니티 구조 활용
초록

이 연구는 메시지 전파(Message-Passing, MP)에서 노드도수(도수) 편향을 해결하기 위해 학습 가능한 그래프 증강과 새로운 그래프 트랜스포머를 활용하는 커뮤니티 구조를 활용한다. 최근의 증강 기반 방법들은 MP 신경망이 낮은 도수를 가진 노드에서 일반적으로 성능이 낮으며, 이는 낮은 도수 노드에 도달하는 메시지가 부족하기 때문에 발생하는 도수 편향 때문임을 보여주었다. 이러한 방법들은 성공을 거두었지만, 대부분 휴리스틱 또는 균일한 랜덤 증강을 사용하며, 이러한 방식은 미분 불가능하며 학습을 위한 유의미한 엣지를 항상 생성하는 것은 아니다. 본 논문에서는 커뮤니티 내 구조를 추출함으로써 학습 가능한 증강과 그래프 트랜스포머를 기반으로 도수 편향이 없는 표현을 학습하는 커뮤니티 인지 그래프 트랜스포머(Community-aware Graph Transformers, CGT)를 제안한다. 먼저, 엣지 편향을 통해 낮은 도수 노드를 연결하는 더 많은 커뮤니티 내 엣지를 생성할 수 있도록 학습 가능한 그래프 증강을 설계한다. 둘째, 커뮤니티 내에서 노드 간의 근접성과 노드의 역할을 학습할 수 있도록 개선된 자기 주도 어텐션(Self-attention)을 제안한다. 셋째, 전역 그래프 구조를 보존하고 그래프 증강을 정규화할 수 있는 자기지도 학습 태스크를 제안한다. 다양한 벤치마크 데이터셋에서 실시한 광범위한 실험 결과, CGT는 최신 기준 모델들을 초월하며 노드 도수 편향을 크게 개선함을 확인하였다. 소스 코드는 https://github.com/NSLab-CUK/Community-aware-Graph-Transformer 에서 공개되어 있다.

메시지 전달 메커니즘에서 차수 편향을 완화하기 위한 커뮤니티 구조 활용 | 최신 연구 논문 | HyperAI초신경