2ヶ月前

弱教師付き行動認識と検出のためのUntrimmedNets

Limin Wang; Yuanjun Xiong; Dahua Lin; Luc Van Gool
弱教師付き行動認識と検出のためのUntrimmedNets
要約

現在の行動認識手法は、モデルの学習に大きく依存してトリミングされたビデオを使用しています。しかし、大規模なトリミング済みビデオデータセットを取得することは費用がかかり、時間もかかるため、現実的ではありません。本論文では、UntrimmedNet(未トリミングネット)と呼ばれる新しい弱教師ありアーキテクチャを提案します。このアーキテクチャは、行動インスタンスの時間的な注釈なしで直接未トリミングビデオから行動認識モデルを学習することができます。UntrimmedNetは、分類モジュールと選択モジュールという2つの重要なコンポーネントを組み合わせています。これらのモジュールはそれぞれ、行動モデルの学習と行動インスタンスの時間的範囲について推論を行うために設計されています。これら2つのコンポーネントはフィードフォワードネットワークで実装されており、UntrimmedNetはエンドツーエンドで学習可能なアーキテクチャとなっています。我々は、THUMOS14およびActivityNetという未トリミングビデオデータセットにおいて、学習したモデルを用いて行動認識(WSR)と検出(WSD)を行いました。当方のUntrimmedNetが弱教師ありのみを使用しているにもかかわらず、これらの2つのデータセットにおいて強教師ありアプローチと同等またはそれ以上の性能を達成しています。