Time-LLM: 대규모 언어 모델 재프로그래밍을 통한 시계열 예측

시계열 예측은 다양한 실제 동적 시스템에서 중요한 역할을 하며, 광범위하게 연구되어 왔다. 자연어 처리(NLP) 및 컴퓨터 비전(CV)과 달리, 시계열 예측을 위한 모델은 일반적으로 특정 작업에 특화되어 있어, 각각의 작업과 응용에 맞는 별도의 설계가 필요하다. NLP와 CV 분야에서 사전 훈련된 기초 모델(Foundation Models)이 놀라운 성과를 거두고 있는 반면, 시계열 분야에서는 데이터의 희소성으로 인해 이러한 모델의 개발이 제한되어 왔다. 최근 연구들은 대규모 언어 모델(LLM)이 복잡한 토큰 시퀀스에 대해 강력한 패턴 인식 및 추론 능력을 갖추고 있음을 밝혀냈다. 그러나 시계열 데이터와 자연어 간의 모달리티를 효과적으로 통합하여 이러한 능력을 활용하는 데 여전히 도전 과제가 있다. 본 연구에서는 기존의 언어 모델 구조를 그대로 유지하면서 LLM을 일반적인 시계열 예측에 재활용할 수 있는 리프로그래밍 프레임워크인 Time-LLM을 제안한다. 본 연구는 먼저 시계열 입력을 텍스트 프로토타입으로 재프로그래밍한 후, 고정된(Locked) LLM에 입력하여 두 모달리티 간의 일치를 도모한다. 또한 시계열 데이터에 대한 추론 능력을 강화하기 위해, 입력 컨텍스트를 풍부하게 하고 재프로그래밍된 입력 패치의 변환 방향을 안내하는 '프롬프트를 접두사로 사용하는 방식(Prompt-as-Prefix, PaP)'을 제안한다. LLM을 통해 변환된 시계열 패치는 최종적으로 예측 결과로 매핑된다. 광범위한 실험 평가를 통해 Time-LLM이 최신의 전문화된 예측 모델들을 능가하는 강력한 시계열 학습 능력을 지녔음을 입증하였으며, 특히 소수 샘플(few-shot) 및 제로 샘플(zero-shot) 학습 환경에서도 뛰어난 성능을 발휘함을 확인하였다.