HyperAIHyperAI

Command Palette

Search for a command to run...

通用时间序列预测Transformer的统一训练

Gerald Woo Chenghao Liu Akshat Kumar Caiming Xiong Silvio Savarese Doyen Sahoo

摘要

时间序列预测中的深度学习传统上采用“一数据集一模型”的框架,限制了其在大规模预训练模型带来的变革性影响方面的潜力。近年来兴起的“通用预测”(universal forecasting)概念,源于在海量时间序列数据集上进行预训练,旨在构建一个统一的大型时间序列模型,以应对多样化的下游预测任务。然而,构建此类模型面临时间序列数据特有的三大挑战:i)跨频率学习能力,ii)支持任意数量变量的多变量时间序列建模,iii)处理大规模数据中固有的分布特性差异。为应对这些挑战,我们对传统的时序Transformer架构提出了创新性改进,提出了基于掩码编码器的通用时间序列预测Transformer模型——Moirai。该模型在我们新发布的大型开放时间序列档案库(Large-scale Open Time Series Archive, LOTSA)上进行训练,涵盖九个领域、超过270亿条观测数据。实验结果表明,Moirai在零样本(zero-shot)预测任务中表现优异,性能可与甚至超越部分全样本(full-shot)模型。相关代码、数据及模型权重已开源,可访问 https://github.com/SalesforceAIResearch/uni2ts 获取。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供