動的中間表現による動画理解

動画理解における一般的な戦略として、RGBフレームと光流（optical flow）から得られる特徴を統合することで、空間的情報と運動情報を取り入れる方法が挙げられる。本研究では、動画理解のための中間表現としてセマンティックセグメンテーションを活用する新たなアプローチを提案する。この手法は、追加のラベル付けを一切必要としない点が特徴である。第二に、中間表現（光流およびセマンティックセグメンテーション）と最終的な動画理解タスクを同時に学習する汎用的なフレームワークを提案する。このフレームワークにより、中間表現が最終的なタスク目標に適応するよう学習可能となる。ネットワーク内での中間表現の利用を前提としているが、推論段階ではRGBシーケンス以外の追加データを必要としないため、単一のネットワークで効率的な認識が実現可能である。最後に、進化的アルゴリズムを用いた損失関数の重み最適化により、最適な学習設定を探索する手法を提示する。これにより、従来の最先端技術を上回る性能を達成する、より強力な動画表現が得られる。