提案ベースの弱教師付き時系列アクション局所化のための複数インスタンス学習

弱教師監督時刻行動定位は、訓練中に動画レベルのカテゴリラベルのみを使用して、トリミングされていない動画内の行動を局所化および認識することを目指しています。インスタンスレベルのアノテーションがなく、既存の多くの手法はセグメントベースのマルチインスタンス学習（S-MIL）フレームワークに従っています。このフレームワークでは、セグメントの予測が動画のラベルによって監督されます。しかし、訓練中にセグメントレベルのスコアを取得する目的と、テスト中に提案レベルのスコアを取得する目標が一致していないため、最適でない結果につながります。この問題に対処するために、我々は新しいプロポーザルベースのマルチインスタンス学習（P-MIL）フレームワークを提案します。このフレームワークは訓練段階とテスト段階の両方で直接候補プロポーザルを分類し、以下の3つの重要な設計を含んでいます：1) 周辺対照的な特徴抽出モジュールで、周辺対照情報を考慮することで判別力のある短いプロポーザルを抑制します（surrounding contrastive feature extraction module）、2) プロポーザル完全性評価モジュールで、完全性疑似ラベルのガイダンスにより低品質なプロポーザルを抑制します（proposal completeness evaluation module）、3) インスタンスレベルの一貫性ランク損失で、RGBとFLOWモダリティの相補性を利用して堅牢な検出を実現します（instance-level rank consistency loss）。THUMOS14とActivityNetという2つの困難なベンチマークでの広範な実験結果は、我々の手法が優れた性能を示していることを証明しています。