9日前

時系列注意機構:効率的な空間時系列予測学習へ向けて

Cheng Tan, Zhangyang Gao, Lirong Wu, Yongjie Xu, Jun Xia, Siyuan Li, Stan Z. Li
時系列注意機構:効率的な空間時系列予測学習へ向けて
要約

時空間予測学習は、過去のフレームから学習することで、将来のフレームを生成することを目的とする。本論文では、既存の手法を検討し、時空間予測学習の一般的なフレームワークを提示する。このフレームワークにおいて、空間エンコーダとデコーダはフレーム内特徴を捉え、中間の時空間モジュールはフレーム間の相関を抽出する。主流の手法では、長期的な時系列依存性を捉えるために再帰ユニットが用いられるが、そのアーキテクチャが並列化不可能であるため、計算効率が低いという課題がある。この問題を解決するため、時空間モジュールの並列化を実現するために、時空間アテンションをフレーム内静的アテンションとフレーム間動的アテンションに分解する「時空間アテンションユニット(Temporal Attention Unit: TAU)」を提案する。さらに、従来の平均二乗誤差損失関数がフレーム内誤差にのみ注目するのに対し、本研究ではフレーム間の変動を考慮するため、新たな差分発散正則化項を導入する。広範な実験により、提案手法によって得られるモデルが、さまざまな時空間予測ベンチマークにおいて競争力ある性能を達成できることを示した。

時系列注意機構:効率的な空間時系列予測学習へ向けて | 最新論文 | HyperAI超神経