2달 전

PANDA: 리와이어링을 넘어서 폭 인식 메시지 전달 확장

Jeongwhan Choi; Sumin Park; Hyowon Wi; Sung-Bae Cho; Noseong Park
PANDA: 리와이어링을 넘어서 폭 인식 메시지 전달 확장
초록

최근 그래프 신경망(GNN) 분야의 연구에서 '과도한 압축(over-squashing)'이라는 중요한 문제를 발견하였습니다. 이는 그래프 구조에서 발생하는 병목 현상으로 인해 장거리 정보 전달이 방해받는 현상을 의미합니다. 과거 연구에서는 이 문제를 해결하기 위해 그래프의 공간적 또는 스펙트럼적 특성을 최적화하여 신호 전달을 촉진하는 다양한 그래프 재선결(rewiring) 개념을 제안하였습니다. 그러나 이러한 접근법은 불가피하게 원래의 그래프 위상을 저하시키며, 이로 인해 정보 흐름이 왜곡될 수 있습니다. 이를 해결하기 위해, 우리는 중앙성(centrality)이 높은 노드, 즉 과도한 압축의 잠재적인 원인인 노드들을 선택적으로 너비를 확장하여 먼 거리의 노드로부터 증가하는 신호 유입을 포괄하는 새로운 메시지 패싱 패러다임인 '너비 인식 확장(PANDA)' 메시지 패싱을 소개합니다. 실험 결과, 우리의 방법이 기존의 재선결 방법들보다 우수한 성능을 보였으며, 이는 노드의 은닉 상태를 선택적으로 확장하는 것이 그래프 재선결 대안으로서 과도한 압축 문제를 해결하는 강력한 방법일 수 있음을 시사합니다.

PANDA: 리와이어링을 넘어서 폭 인식 메시지 전달 확장 | 최신 연구 논문 | HyperAI초신경