PredRNN++: 時間的な深さのジレンマを解消する空間時間予測学習へのアプローチ

私たちはPredRNN++、ビデオ予測学習のための改良された再帰ネットワークを提案します。より高度な時空間モデリング能力を目指して、当手法は新たな再帰ユニットである因果LSTM（Causal LSTM）を活用し、隣接する状態間の遷移深さを増加させます。因果LSTMは、空間と時間の記憶をカスケードメカニズムで再構築するために設計されています。しかし、ビデオ予測学習には依然としてジレンマが存在します：時間方向に深く設計されたモデルは複雑な変動を捉えるために開発されましたが、逆伝播における勾配計算の難易度も高めています。この望ましくない影響を軽減するために、私たちは勾配ハイウェイアーキテクチャ（Gradient Highway architecture）を提案します。このアーキテクチャは、出力から長期的な入力へと勾配が流れる際の代替となる短い経路を提供します。因果LSTMと組み合わせることで、勾配ハイウェイアーキテクチャはPredRNN++が短期および長期の依存関係を適応的に捉えることを可能にします。当モデルの評価は合成データセットおよび実際のビデオデータセット双方で行われました。その結果、消失勾配問題の緩和と困難な物体遮蔽シナリオにおいても最先端の予測性能を達成できることを示しています。