Yong Liu Guo Qin Zhiyuan Shi Zhi Chen Caiyin Yang Xiangdong Huang Jianmin Wang Mingsheng Long

摘要

我们介绍了Sundial，这是一系列原生、灵活且可扩展的时间序列基础模型。为了预测下一个时间片的分布，我们提出了一种基于流匹配的TimeFlow损失函数，该方法使得Transformer能够在连续值时间序列上进行原生预训练而无需离散化标记。在任意长度的时间序列条件下，我们的模型在预训练过程中未指定任何先验分布，可以生成多个可能的预测结果，从而在表示学习方面比使用参数密度具有更高的灵活性。为了构建时间序列基础模型，我们对Transformer进行了最小但关键的改进，并整理了包含一万亿个时间点的TimeBench数据集，其中大部分为真实世界的数据集和合成数据。通过利用TimeFlow损失函数缓解模式崩溃问题，我们在TimeBench上预训练了一系列Sundial模型，这些模型实现了前所未有的模型容量和泛化性能。除了出色的可扩展性外，Sundial还在点预测和概率预测基准测试中取得了最先进的结果，并且具备即时推理速度，即在几毫秒内完成零样本预测。我们认为Sundial开创性的生成式预测能力可以提高实际决策中的模型可靠性。代码可在以下网址获取：此https链接。注：原文中的“this https URL”通常是指一个具体的链接地址，在正式文档中应替换为实际的URL。此处保留原文格式以保持一致性。