17일 전

시계열 하나가 다섯 명의 전문가만큼 가치 있다: 교통 흐름 예측을 위한 이질적 전문가 혼합 모델

Guangyu Wang, Yujie Chen, Ming Gao, Zhiqiao Wu, Jiafu Tang, Jiabi Zhao
시계열 하나가 다섯 명의 전문가만큼 가치 있다: 교통 흐름 예측을 위한 이질적 전문가 혼합 모델
초록

정확한 교통량 예측은 시간적 및 공간적 특징과 다중 변수 간 복잡한 상호작용을 깊이 이해해야 하는 큰 도전 과제를 안고 있다. 최근 교통량 예측 시스템의 발전은 주로 복잡한 시계열 중심 모델의 개발에 기인하고 있다. 그러나 기존의 접근 방식은 각 시간 단계에서 다수의 변수와 공간적 관계를 동시에 임베딩하는 방식을 채택함으로써, 변수 중심 학습의 효과를 저해할 수 있으며, 이는 전통적인 교통량 예측 작업에서 성능 저하로 이어질 수 있다. 이러한 한계를 극복하기 위해, 본 연구는 변수 중심 및 사전 지식 중심의 모델링 기법을 제안한다. 구체적으로, 교통 흐름 예측을 위한 이질적 전문가 혼합 모델(Heterogeneous Mixture of Experts, TITAN)을 제안한다. TITAN은 초기에 시계열 중심 모델링에 집중한 세 개의 전문가로 구성된다. 이후, 낮은 랭크 적응 방식을 설계하여 TITAN이 동시에 변수 중심 모델링을 가능하게 한다. 더불어, 정확한 경로 선택을 보장하기 위해 게이팅 과정에 사전 지식 중심 모델링 전략을 적용하여 감독한다. 공개된 두 개의 교통망 데이터셋(METR-LA 및 PEMS-BAY)을 활용한 실험 결과, TITAN은 변수 중심의 상관관계를 효과적으로 포착하면서도 정확한 경로 전달을 보장함으로써, 기존 최고 성능(SOTA) 모델 대비 평가 지표에서 약 4.37%에서 11.53%까지 개선을 달성하였다. 코드는 \href{https://github.com/sqlcow/TITAN}{https://github.com/sqlcow/TITAN}에서 공개되어 있다.

시계열 하나가 다섯 명의 전문가만큼 가치 있다: 교통 흐름 예측을 위한 이질적 전문가 혼합 모델 | 최신 연구 논문 | HyperAI초신경