HyperAIHyperAI

Command Palette

Search for a command to run...

オブジェクト2アクション:ビデオ例なしでアクションを分類および局所化する

Mihir Jain Jan C. van Gemert Thomas Mensink Cees G. M. Snoek

概要

本論文の目的は、例を必要とせずにビデオ内の動作を認識することである。従来のゼロショットアプローチとは異なり、属性分類器の設計やクラスから属性へのマッピングを指定することなく、既知のクラスから未知のクラスへの転移を可能にする手法を提案する。当研究における主要な貢献は、数千もの物体カテゴリで構成されるスキップグラムモデルによって形成される意味語彙埋め込み「objects2action」である。未知のビデオに対する物体エンコーディングに基づき、動作ラベルが動作と物体の親和性の凸結合によって割り当てられる。当研究の意味語彙埋め込みは、動作特有の特性に対応するために以下の3つの主要な特徴を持つ。第一に、複数単語で記述された動作と物体を利用するためのメカニズムを提案する。第二に、各動作に対して最も反応性が高い物体を選択する自動化された方法を取り入れる。最後に、当研究のゼロショットアプローチをビデオ内での動作の空間時間的局所化に拡張する方法を示す。4つの動作データセットを使用した実験により、当アプローチの潜在力を示している。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
オブジェクト2アクション:ビデオ例なしでアクションを分類および局所化する | 記事 | HyperAI超神経