DRew: 지연을 고려한 동적 재결합 메시지 전달

메시지 전달 신경망(MPNNs)은 장거리 상호작용에 의존하는 작업에서 성능이 저하되는 '과도한 압축(over-squashing)' 현상에 취약함이 입증되었다. 이는 주로 노드의 근접 이웃 간에만 메시지 전달이 이루어지기 때문에 발생한다. 그래프를 '더 연결된 상태'로 만들고, 장거리 작업에 더 적합하다고 여겨지는 리워이어링(rewiring) 기법들은, 일반적으로 각 계층에서 멀리 떨어진 노드들 간에 즉각적인 통신을 가능하게 함으로써 그래프 상의 거리에 기반한 유도 편향(inductive bias)을 상실하게 된다. 본 논문에서는 어떠한 MPNN 아키텍처에도 적용 가능한 프레임워크를 제안한다. 이 프레임워크는 계층별로 그래프를 리워이어링하여 그래프의 점진적인 밀도 증가를 보장한다. 또한, 계층과 노드 간의 상호 거리에 따라 스케일 연결(skip connections)을 허용하는 지연 메커니즘을 제안한다. 제안한 방법은 여러 장거리 작업에 대해 검증되었으며, 그래프 트랜스포머와 다단계(Multi-hop) MPNN보다 우수한 성능을 보였다.