2ヶ月前

SAITS: 時系列の自己注意に基づく補完

Wenjie Du; David Cote; Yan Liu
SAITS: 時系列の自己注意に基づく補完
要約

時系列データにおける欠損値は、高度な分析を妨げる普遍的な問題である。一般的な解決策の一つとして、欠損値を推定して補完するインピュテーションがある。本論文では、多変量時系列データの欠損値インピュテーションに焦点を当てた新しい方法であるSAITS(Self-Attention based Imputation for Time Series)を提案する。SAITSは、合同最適化アプローチで訓練され、2つの対角マスキング自己注意(Diagonally-Masked Self-Attention: DMSA)ブロックの重み付け組み合わせから欠損値を学習する。DMSAは時間依存関係と特徴量間の相関を明示的に捉えることで、インピュテーション精度と学習速度を向上させる。さらに、重み付け組み合わせ設計により、SAITSは注意マップと欠損情報に基づいて2つのDMSAブロックから得られた学習表現に動的に重みを割り当てることが可能となる。広範な実験結果が定量的および定性的に示しているように、SAITSは効率的に時系列インピュテーションタスクにおいて最先端の手法を上回る性能を発揮し、現実世界の不完全な時系列データに対するパターン認識モデルの学習性能向上への潜在能力も明らかにした。本研究で使用されたコードはGitHub上でオープンソース化されており、以下のURLからアクセスできる:https://github.com/WenjieDu/SAITS。

SAITS: 時系列の自己注意に基づく補完 | 最新論文 | HyperAI超神経