티니 타임 믹서(TTMs): 다변량 시계열의 개선된 제로/피어샷 예측을 위한 빠른 사전 훈련 모델

대규모 사전 훈련 모델은 언어 및 시각 작업에서 제로샷/소량 샘플 학습(zero/few-shot learning)에 뛰어난 성능을 발휘하지만, 다양한 데이터 특성을 지닌 다변량 시계열(time series, TS) 예측 과제에서는 여전히 도전 과제에 직면해 있다. 이에 따라 최근 연구들은 사전 훈련된 시계열 예측 모델 개발에 집중하고 있다. 이러한 모델들은 대규모 언어 모델(Large Language Models, LLMs)에서 유도된 경우도 있지만, 대부분은 새로 구축되며, 제로샷/소량 샘플 예측 작업에서 뛰어난 성능을 보인다. 그러나 이러한 모델들은 느린 성능, 높은 계산 자원 요구, 채널 간 상관관계 및 외생적(exogenous) 신호의 무시라는 한계를 가지고 있다. 이를 해결하기 위해 우리는 TTM(Tiny Time Mixers)을 제안한다. TTM은 최소 100만 파라미터부터 시작하는 소형 모델로, 공개된 시계열 데이터셋에만 전용으로 훈련되어 있으며, 효과적인 전이 학습(transfer learning) 능력을 갖추고 있다. TTM은 경량 구조를 가진 TSMixer 아키텍처를 기반으로 하며, 적응형 패치링(adaptive patching), 다양한 해상도 샘플링(diverse resolution sampling), 해상도 프리픽스 튜닝(resolution prefix tuning) 등의 혁신적인 기법을 도입하여, 제한된 모델 용량으로도 다양한 데이터셋 해상도에 대한 사전 훈련을 효과적으로 수행할 수 있다. 또한, 다수준 모델링(multi-level modeling) 기법을 활용해 채널 간 상관관계를 포착하고, 미세 조정(fine-tuning) 과정에서 외생 신호를 통합한다. 실험 결과, TTM은 기존 주요 벤치마크 대비 제로샷/소량 샘플 예측에서 4~40%의 성능 향상을 기록하며, 계산 자원 요구량을 크게 줄였다. 더불어 TTM은 매우 가벼운 구조를 지니고 있어 CPU 전용 환경에서도 실행이 가능하여, 자원이 제한된 환경에서도 활용이 용이하며, 더 넓은 적용 가능성을 제공한다. 재현성과 연구 목적을 위해 모델 가중치는 https://huggingface.co/ibm/ttm-research-r2/에서 공개되며, 기업용 라이선스(아파치 라이선스)를 갖춘 버전은 다음과 같이 제공된다: 초기 버전인 TTM-Q는 https://huggingface.co/ibm-granite/granite-timeseries-ttm-r1에서, 최신 버전(TTM-B, TTM-E, TTM-A)의 가중치는 https://huggingface.co/ibm-granite/granite-timeseries-ttm-r2에서 확인할 수 있다.