2달 전

주기 메시지 패싱 블록을 사용한 시공간 그래프의 위상 종속성 강화

Minho Lee; Yun Young Choi; Sun Woo Park; Seunghwan Lee; Joohwan Ko; Jaeyoung Hong
주기 메시지 패싱 블록을 사용한 시공간 그래프의 위상 종속성 강화
초록

그래프 신경망(GNNs)과 트랜스포머 기반 모델은 공간-시간 그래프의 복잡한 벡터 표현을 학습하여 교통 데이터셋과 같은 응용 분야에서 중요한 공간-시간 종속성을 포착하는 데 점점 더 많이 사용되고 있습니다. 그러나 기존의 많은 방법들이 다중 헤드 어텐션 메커니즘과 메시지 패싱 신경망(MPNNs)을 활용하여 공간적 및 시간적 관계를 포착하더라도, 이러한 접근 방식은 시간적과 공간적 관계를 독립적으로 인코딩하며, 그래프의 위상학적 특성을 제한적으로 반영합니다. 본 연구에서는 위상학적으로 비자명적인 불변량을 가진 공간-시간 그래프와 게이트된 다층 퍼셉트론(gMLP)을 기반으로 하는 새로운 공간-시간 GNN인 사이클 투 믹서(Cycle to Mixer, Cy2Mixer)를 소개합니다. Cy2Mixer는 MLPs를 기반으로 하는 세 가지 블록으로 구성되어 있습니다: 시간적 속성을 포착하기 위한 시간 블록, 공간 정보를 캡슐화하기 위한 메시지 패싱 블록, 그리고 순환 부분 그래프를 통해 위상학적 정보를 풍부하게 만드는 사이클 메시지 패싱 블록입니다. 우리는 수학적 증거를 통해 우리의 사이클 메시지 패싱 블록이 메시지 패싱 블록에 비해 딥러닝 모델에 차별화된 정보를 제공할 수 있음을 강조함으로써 Cy2Mixer의 효과성을 강화합니다. 또한 경험적인 평가들은 Cy2Mixer의 효능을 입증하며, 다양한 공간-시간 벤치마크 데이터셋에서 최고 수준의 성능을 보여줍니다. 소스 코드는 \url{https://github.com/leemingo/cy2mixer}에서 확인할 수 있습니다.