UniTS: 통합 다중 작업 시계열 모델

사전 훈련된 트랜스포머와 재프로그래밍된 텍스트 기반 대규모 언어 모델(Large Language Models, LLMs)은 시계열 작업에서 뛰어난 성능을 보여주었지만, 최고의 아키텍처는 작업에 따라 크게 달라지며, 대부분의 모델은 시계열 예측과 같은 특정 분야에만 집중되어 있다. 예측 및 생성 시계열 작업을 하나의 모델 내에서 통합하는 것은 여전히 도전 과제이다. 본 연구에서는 예측 및 생성 작업을 하나의 프레임워크로 통합하기 위해 작업 토큰화(task tokenization)를 활용한 통합형 다중 작업 시계열 모델인 UniTS를 제안한다. UniTS는 수정된 트랜스포머 블록을 사용하여 보편적인 시계열 표현을 추출함으로써, 다양한 동적 패턴, 샘플링 주기, 시간 규모를 가진 이질적이고 다중 도메인 사전 훈련 데이터셋에서 출발하여, 다양한 작업 사양과 데이터 도메인을 가진 수많은 하류 작업 데이터셋으로의 전이 가능성을 가능하게 한다. 인간 활동 센서, 헬스케어, 공학, 금융 분야의 총 38개 데이터셋에서 실험한 결과, UniTS는 12개의 예측 모델, 20개의 분류 모델, 18개의 이상 탐지 모델, 16개의 누락치 보정 모델(이들 중 일부는 텍스트 기반 LLMs를 변형한 모델 포함)과 비교해 우수한 성능을 나타냈다. 또한 새로운 도메인과 작업에 적용했을 때, UniTS는 강력한 소수 샘플(few-shot) 및 프롬프트(prompt) 기반 능력을 보였다. 단일 작업 환경에서도 UniTS는 경쟁적인 작업 전용 시계열 모델들을 능가하는 성능을 보였다. 코드 및 데이터셋은 https://github.com/mims-harvard/UniTS 에서 공개되어 있다.