空間時系列学習のための畳み込み型テンソルトレインLSTM

時空間データからの学習は、人間行動の分析、物体追跡、動画圧縮、物理シミュレーションなど、多岐にわたる応用を持つ。しかし、長期間予測のような困難な動画タスクにおいて、従来の手法は依然として性能が劣っている。その理由は、こうした課題が動画系列における長期間の時空間相関を学習する必要があるためである。本論文では、これらの相関を効率的に学習可能であり、履歴の簡潔な表現も可能となる高次畳み込みLSTMモデルを提案する。この目的を達成するために、時系列にわたる畳み込み特徴を組み合わせることで予測を行う、新たなテンソルトレインモジュールを導入している。計算量およびメモリ使用量の観点から実現可能性を確保するため、高次モデルに対する新たな畳み込みテンソルトレイン分解を提案する。この分解により、一連の畳み込みカーネルを低ランクテンソルトレイン因子分解として同時に近似することで、モデルの複雑さを大幅に低減する。その結果、従来の手法を上回る性能を達成しつつ、パラメータ数は基準モデルのわずか一部に抑えることが可能となった。本モデルは、Moving-MNIST-2およびKTH行動データセットにおける多ステップ動画予測、およびSomething-Something V2データセットにおける早期行動認識を含む、幅広い応用分野とデータセットにおいて、最先端の性能を実現した。