11 天前

通过自注意力机制与相对位置信息融合增强多变量时间序列分类器

Mehryar Abbasi, Parvaneh Saeedi
通过自注意力机制与相对位置信息融合增强多变量时间序列分类器
摘要

时间序列分类(Time Series Classification, TSC)是众多视觉计算应用中一项重要且具有挑战性的任务。尽管针对TSC已开发出大量方法,但其中仅有少数采用了深度神经网络(Deep Neural Networks, DNNs)。本文提出两种新型注意力模块——全局时间注意力(Global Temporal Attention)与时间伪高斯增强自注意力(Temporal Pseudo-Gaussian augmented Self-Attention),能够有效提升基于深度学习的TSC方法的性能,即使这些方法原本是针对特定数据集或任务进行设计与优化的。我们通过在东安格利亚大学(University of East Anglia, UEA)基准数据集上评估多个先进的基于深度学习的TSC模型,验证了该观点。UEA基准是一个标准化的多变量时间序列分类(Multivariate Time Series Classification, MTSC)数据集集合,包含30个数据集。实验结果表明,引入所提出的注意力模块后,基础模型的平均准确率最高可提升3.6%。此外,所提出的TPS(Temporal Pseudo-Gaussian)模块采用一种新颖的注入机制,将相对位置信息引入Transformer架构中。作为计算复杂度较低的独立单元,TPS在性能上优于大多数当前最先进的基于DNN的TSC方法。本文的实验设置及所提出的注意力模块的源代码已公开发布,供学术界和工业界参考与使用。