すべての瞬間が重要である：複雑な動画における行動の詳細なラベル付け

行動認識において、毎瞬間が重要です。ビデオ内のヒューマンアクティビティを包括的に理解するには、発生している行動に応じて各フレームをラベリングし、複数のラベルをビデオシーケンス全体に密集させて配置する必要があります。この問題を研究するために、既存のTHUMOSデータセットを拡張し、制約のないインターネットビデオに対する密集したラベルを持つ新しいデータセットMultiTHUMOSを導入しました。複数の密集したラベルのモデリングは、クラス内およびクラス間の時間的な関係から恩恵を受けます。私たちは、これらの時間的な関係をモデル化するために、複数の入力と出力接続を持つ長期短期記憶（LSTM）深層ネットワークの新しい変種を定義しました。このモデルは、行動ラベリングの精度向上に寄与するとともに、構造化検索から行動予測までの一連のより深い理解タスクも可能にします。