PDFormer: 교통 흐름 예측을 위한 전파 지연을 고려한 동적 장거리 Transformer

지능형 교통 시스템(ITS)의 핵심 기술 중 하나인 교통 흐름 예측은 다양한 응용 분야에서 활용되고 있다. 교통 흐름 예측의 핵심 과제는 교통 데이터 내 복잡한 공간-시간 종속성(스페이셜-타임 종속성)을 효과적으로 모델링하는 것이다. 공간-시간 그래프 신경망(GNN) 모델은 이 문제를 해결하기 위한 가장 유망한 방법 중 하나로 부상하고 있다. 그러나 기존의 GNN 기반 모델은 교통 예측에 있어 세 가지 주요한 한계를 가지고 있다. 첫째, 대부분의 방법이 공간 종속성을 정적 방식으로 모델링함으로써 도시 교통 패턴의 동적 특성을 효과적으로 학습할 수 없으며, 둘째, 대부분의 모델은 단기적 공간 정보만 고려하여 장거리 공간 종속성을 포착하지 못하며, 셋째, 교통 시스템에서 위치 간 교통 상태의 전파가 시간 지연을 수반한다는 사실을 간과하고 있다. 이러한 문제를 해결하기 위해 우리는 정확한 교통 흐름 예측을 위한 새로운 모델, 즉 시간 지연 인지 동적 장거리 트랜스포머(PDFormer: Propagation Delay-aware dynamic long-range Transformer)를 제안한다. 구체적으로, 동적 공간 종속성을 포착하기 위한 공간 자기주의(Spatial Self-Attention) 모듈을 설계하였으며, 단거리와 장거리 관점에서의 공간 종속성을 강조하기 위해 두 개의 그래프 마스킹 행렬을 도입하였다. 더불어, 공간 정보 전파의 시간 지연을 명시적으로 모델링할 수 있는 능력을 부여하기 위해 교통 지연 인지 특성 변환 모듈을 제안하였다. 여섯 개의 실제 세계 공개 교통 데이터셋에 대한 광범위한 실험 결과는 제안한 방법이 최고 수준의 성능을 달성할 뿐만 아니라 경쟁적인 계산 효율성도 보여줌을 입증하였다. 또한, 학습된 공간-시간 주의 맵을 시각화함으로써 모델의 해석 가능성을 높였다.