Hybrid Relation Guided Set Matching for Few-shot Action Recognition ハイブリッド関係ガイド付きセットマッチングを用いた少量学習行動認識

現在の少ショットアクション認識手法は、エピソード訓練を通じて各ビデオの識別的特徴を学習し、様々な時間的なアライメント戦略を設計することで、印象的な性能を達成しています。しかし、これらの手法には以下のような制限があります。(a) タスク全体を考慮せずに個々の特徴を学習すると、現在のエピソードで最も関連性の高い情報を失う可能性があります。(b) これらのアライメント戦略は、不正なインスタンスに対して失敗する可能性があります。これらの2つの制限を克服するために、我々は新しいハイブリッドリレーションガイド付きセットマッチング（HyRSM）アプローチを提案します。このアプローチには2つの主要なコンポーネントが含まれています：ハイブリッドリレーションモジュールとセットマッチングメトリックです。ハイブリッドリレーションモジュールの目的は、エピソード内のビデオ間およびビデオ間の関連関係を完全に活用してタスク固有の埋め込みを学習することです。タスク固有の特徴に基づいて、我々はクエリビデオとサポートビデオ間の距離測定をセットマッチング問題として再定式化し、さらに双方向平均ハウスドルフメトリック（bidirectional Mean Hausdorff Metric）を設計して不正なインスタンスに対する耐性を向上させます。これにより、提案されたHyRSMは少ショット設定においてクエリカテゴリを予測するために非常に情報量が多く、柔軟性を持つことができます。我々は6つの困難なベンチマークでHyRSMを評価しました。実験結果は、現行の最先端手法よりも確信できる差で優れていることを示しています。プロジェクトページ: https://hyrsm-cvpr2022.github.io/