Yong Liu Guo Qin Zhiyuan Shi Zhi Chen Caiyin Yang Xiangdong Huang Jianmin Wang Mingsheng Long

초록

우리는 Sundial을 소개합니다. Sundial은 네이티브, 유연하고 확장 가능한 시계열 기초 모델의 집합입니다. 다음 패치의 분포를 예측하기 위해, 우리는 흐름 일치(flow-matching) 기반의 TimeFlow 손실을 제안합니다. 이는 Transformer를 연속값 시계열에 대해 이산화된 토큰화 없이 네이티브로 사전 학습할 수 있도록 돕습니다. 임의 길이의 시계열을 조건으로 하여, 우리의 모델은 어떠한 사전 분포도 지정하지 않고 여러 가지 가능한 예측을 생성할 수 있으며, 매개변수 밀도(parametric densities)를 사용하는 것보다 표현 학습에서 더 많은 유연성을 달성합니다. 시계열 기초 모델을 향해, 우리는 Transformer의 최소한의 중요한 적응과 함께 TimeBench를 큐레이션하여 1조 개의 시간 점(time points)으로 구성되며, 대부분 실제 세계 데이터셋과 합성 데이터로 이루어져 있습니다. TimeFlow 손실을 통해 모드 붕괴(mode collapse)를 완화함으로써, 우리는 TimeBench에서 Sundial 모델군을 사전 학습하여 전례 없는 모델 용량과 일반화 성능을 달성했습니다. 뛰어난 확장성뿐만 아니라, Sundial은 실시간 추론 속도로 포인트 및 확률적 예측 벤치마크에서 최고 수준의 결과를 달성하며, 즉각적인 예측(몇 밀리초 내)을 수행할 수 있습니다. 우리는 Sundial의 선구적인 생성적 예측 능력이 실제 세계 의사결정에서 모델 신뢰성을 개선할 수 있다고 믿습니다. 코드는 다음 URL에서 제공됩니다: this https URL.