HyperAIHyperAI

Command Palette

Search for a command to run...

UniTS:一种统一的多任务时间序列模型

Shanghua Gao Teddy Koker Owen Queen Thomas Hartvigsen Theodoros Tsiligkaridis Marinka Zitnik

摘要

尽管预训练的Transformer模型以及经过重编程的基于文本的大型语言模型(LLM)在时间序列任务中已展现出强劲性能,但不同任务间表现最佳的模型架构差异显著,且多数模型仅专注于特定领域,例如时间序列预测。如何在单一模型中统一处理预测性与生成性时间序列任务,仍是当前面临的重大挑战。为此,我们提出UniTS——一种统一的多任务时间序列模型,通过任务标记化(task tokenization)技术,将预测与生成任务整合进统一框架。UniTS采用改进的Transformer模块,以捕捉具有普适性的时间序列表征,从而实现从异构、多领域预训练数据集(具有多样化的动态模式、采样频率与时间尺度)到多种下游数据集(涵盖不同任务类型与数据领域)的高效迁移。在涵盖人体活动传感器、医疗健康、工程系统与金融等领域的38个数据集上进行测试,UniTS在性能上显著优于12种预测模型、20种分类模型、18种异常检测模型以及16种缺失值填补模型,包括经过适配的基于文本的大型语言模型。此外,UniTS在新领域与新任务上展现出优异的少样本学习(few-shot)与提示(prompt)适应能力。在单任务场景下,UniTS亦超越了当前主流的专用时间序列模型。相关代码与数据集已开源,地址为:https://github.com/mims-harvard/UniTS


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供