オブジェクト2アクション：ビデオ例なしでアクションを分類および局所化する

本論文の目的は、例を必要とせずにビデオ内の動作を認識することである。従来のゼロショットアプローチとは異なり、属性分類器の設計やクラスから属性へのマッピングを指定することなく、既知のクラスから未知のクラスへの転移を可能にする手法を提案する。当研究における主要な貢献は、数千もの物体カテゴリで構成されるスキップグラムモデルによって形成される意味語彙埋め込み「objects2action」である。未知のビデオに対する物体エンコーディングに基づき、動作ラベルが動作と物体の親和性の凸結合によって割り当てられる。当研究の意味語彙埋め込みは、動作特有の特性に対応するために以下の3つの主要な特徴を持つ。第一に、複数単語で記述された動作と物体を利用するためのメカニズムを提案する。第二に、各動作に対して最も反応性が高い物体を選択する自動化された方法を取り入れる。最後に、当研究のゼロショットアプローチをビデオ内での動作の空間時間的局所化に拡張する方法を示す。4つの動作データセットを使用した実験により、当アプローチの潜在力を示している。