TransLLM: 학습 가능한 프롬프팅을 통한 도시 교통을 위한 통합 다중 작업 기반 프레임워크

도시 교통 시스템은 교통 예측, 전기자동차(EV) 충전 수요 예측, 택시 배차 등 다양한 작업에서 복합적인 도전에 직면해 있다. 기존의 접근 방식은 두 가지 주요한 한계를 가지고 있다. 우선, 소규모의 딥러닝 모델은 작업에 특화되어 있고 데이터 의존성이 높아 다양한 시나리오 간 일반화 능력이 제한된다. 반면, 대규모 언어 모델(LLM)은 자연어 인터페이스를 통해 유연성을 제공하지만, 교통 분야에서의 구조화된 시공간 데이터 처리와 수치적 추론에는 어려움을 겪는다. 이러한 한계를 해결하기 위해 우리는 학습 가능한 프롬프트 조합을 통해 시공간 모델링과 대규모 언어 모델을 통합한 통합 기반 프레임워크인 TransLLM을 제안한다. 본 연구의 접근법은 확장된 시계열 컨볼루션과 이중 인접 그래프 주의망을 통해 복잡한 종속성을 효과적으로 포착하는 경량 시공간 인코더를 특징으로 하며, 구조화된 임베딩을 통해 LLM과 원활하게 연동된다. 또한, 강화학습을 통해 학습되는 새로운 인스턴스 수준의 프롬프트 라우팅 메커니즘이 제안되며, 입력 특성에 따라 동적으로 프롬프트를 맞춤화함으로써 고정된 작업별 템플릿을 넘어서는 개인화된 접근을 가능하게 한다. 제안된 프레임워크는 시공간 패턴을 맥락적 표현으로 인코딩하고, LLM의 추론을 안내하기 위해 동적으로 개인화된 프롬프트를 구성한 후, 전용 출력 레이어를 통해 결과 표현을 변환하여 작업별 예측을 생성한다. 일곱 개의 데이터셋과 세 가지 작업에 대한 실험을 통해 TransLLM이 지도 학습 및 제로샷(zero-shot) 환경에서 뛰어난 성능을 발휘함을 입증하였다. 10개의 기준 모델과 비교했을 때, 회귀 문제와 계획 문제 모두에서 경쟁력 있는 성능을 보이며 강력한 일반화 능력과 다중 작업 간 적응성을 입증하였다. 본 연구의 코드는 다음 URL에서 공개되어 있다.