Command Palette
Search for a command to run...
弱教師付き行動検出における時系列構造マイニング
弱教師付き行動検出における時系列構造マイニング
Junsong Yuan Ning Xu Enxu Yan Yuncheng Li Zhou Ren Tan Yu
概要
従来の完全教師あり行動検出問題は、高コストなフレームレベルのアノテーションに依存しているのに対し、弱教師あり行動検出(WSAD)はビデオレベルのアノテーションのみを必要とするため、実世界への応用においてより実用的である。既存のWSAD手法は、各ビデオセグメント(複数のフレームのスタック)に対して個別にスコアを付けることで行動インスタンスを検出する。しかし、これらの多くはビデオセグメント間の時系列的関係をモデル化できず、潜在的な時系列構造を持つ行動インスタンスを効果的に表現できない。この課題を緩和するため、本研究では時系列構造マイニング(TSM)という新しいアプローチを提案する。TSMでは、各行動インスタンスを多段階プロセスとしてモデル化し、行動インスタンス内での段階の進化、すなわち時系列構造を活用する。同時に、非トリムドビデオにおける異なる行動インスタンスを分離するために、背景を背景段階としてモデル化する。本フレームワークでは、各セグメントにおける行動段階の存在確信度スコアを計算するために、段階フィルタ(phase filter)を用いる。しかし、WSADタスクではフレームレベルのアノテーションが存在しないため、段階フィルタは直接学習できない。この課題に対処するため、各セグメントの段階を隠れ変数として扱い、各段階フィルタから得られるセグメントの確信度スコアをもとにテーブルを構築し、そのテーブル上で最大循環パス(maximal circulant path)を探索することで、隠れ変数であるセグメントの段階を決定する。3つのベンチマークデータセット上で実施した実験により、提案手法TSMが最先端の性能を達成することが示された。