2 个月前

SAITS:基于自注意力机制的时间序列插补方法

Wenjie Du; David Cote; Yan Liu
SAITS:基于自注意力机制的时间序列插补方法
摘要

时间序列中的缺失数据是一个普遍存在的问题,给高级分析带来了障碍。一种流行的解决方案是插补,其核心挑战在于确定应填充哪些值。本文提出了一种基于自注意力机制的新方法——SAITS(Self-Attention-based Imputation for Time Series),用于多变量时间序列的缺失值插补。通过联合优化方法训练,SAITS从两个对角线掩码自注意力(Diagonally-Masked Self-Attention, DMSA)块的加权组合中学习缺失值。DMSA 明确捕捉了时间步之间的时序依赖性和特征相关性,从而提高了插补精度和训练速度。同时,加权组合设计使 SAITS 能够根据注意力图和缺失信息动态分配两个 DMSA 块所学表示的权重。广泛的实验从定量和定性两方面证明了 SAITS 在时间序列插补任务上优于现有最先进方法,并展示了 SAITS 在提高现实世界不完整时间序列数据模式识别模型学习性能方面的潜力。该代码已在 GitHub 上开源,地址为 https://github.com/WenjieDu/SAITS。

SAITS:基于自注意力机制的时间序列插补方法 | 最新论文 | HyperAI超神经