要約
文献に報告されているほとどの活動局所化手法は、フレーム単位のアノテーションが必要という負担を抱えています。弱ラベルから学習することは、このような手動ラベリング作業を軽減する潜在的な解決策となる可能性があります。近年、インターネット上にはタグ付きビデオが大量に公開されており、これが弱教師あり学習の豊富な訓練データ源として利用できるようになりました。特に、類似したタグを持つビデオ間の相関関係を利用することで、活動の時間的な局所化が可能となります。この目標に向けて、当研究ではW-TALC（Weakly-supervised Temporal Activity Localization and Classification）と呼ばれる、ビデオレベルのラベルのみを使用した弱教師あり時間的活動局所化・分類フレームワークを提案します。提案されたネットワークは、二つのサブネットワークに分けられます。すなわち、Two-Streamベースの特徴抽出ネットワークと弱教師ありモジュールです。これらのモジュールは、二つの補完的な損失関数を最適化することによって学習されます。Thumos14およびActivityNet1.2という二つの挑戦的なデータセットに対する定性的および定量的評価結果は、提案手法が細かい粒度で活動を検出できることを示し、現行の最先端手法よりも優れた性能を達成していることが確認されました。