Command Palette
Search for a command to run...
タイムスタンプ監督からの時系列行動分割
タイムスタンプ監督からの時系列行動分割
Zhe Li Yazan Abu Farha Juergen Gall
概要
最近、時間的行動分割(temporal action segmentation)のアプローチは著しく成功を収めている。しかし、このようなモデルを訓練するためには、フレーム単位のラベルを付与した動画のアノテーションが必要であり、これは非常に高コストかつ時間がかかる作業である。一方、順序付き行動リストのみを用いて学習する弱教師あり(weakly supervised)手法は、アノテーションの負担が少ないものの、依然として完全教師あり(fully supervised)手法に比べて性能が劣っている。本論文では、時間的行動分割タスクにタイムスタンプ(timestamp)の監視情報を用いることを提案する。タイムスタンプのアノテーションは、弱教師あり手法と同程度のアノテーション負荷でありながら、より強力な監視信号を提供できる。タイムスタンプ監視の有効性を示すために、フレーム単位のラベルを一切用いずに、タイムスタンプ情報のみで分割モデルを学習する手法を提案する。本手法は、モデルの出力とアノテーションされたタイムスタンプを用いて、行動の変化点を検出することで、フレーム単位のラベルを生成する。さらに、予測確率がタイムスタンプからの距離が増すにつれて単調に減少するよう制約する「信頼度損失(confidence loss)」を導入する。これにより、行動の最も特徴的なフレームだけでなく、すべてのフレームが学習過程で適切に捉えられるようになる。4つのデータセットにおける評価結果から、タイムスタンプアノテーションを用いて訓練されたモデルは、完全教師あり手法と同等の性能を達成することが明らかになった。