HyperAIHyperAI

Command Palette

Search for a command to run...

ホームアクションゲノム:協調的構成的アクション理解

Nishant Rai Haofeng Chen Jingwei Ji Rishi Desai Kazuki Kozuka Shun Ishizaka Ehsan Adeli Juan Carlos Niebles

概要

アクション認識に関する従来の研究では、活動を動画内で発生する単一のイベントとして扱うことが一般的であった。近年、原子的アクション(atomic-actions)の組み合わせとしてアクションを定式化するアプローチが、このようなラベルが付与されたデータセットの登場により、アクション理解の向上に有望であることが示されてきた。これにより、これらの構成要素を捉える表現を学習することが可能になった。しかしながら、アクションの構成を拡張し、複数の視点および複数のモダリティのデータを活用した表現学習に関する研究は依然として不足している。この分野の研究を促進するために、我々は「Home Action Genome(HOMAGE)」を提案する。これは、階層的な活動および原子的アクションラベル、さらに高密度なシーン構成ラベルを付与された、複数の視点と複数のモダリティを持つアクションデータセットである。豊富なマルチモーダルかつマルチビュー環境を活用し、構成的アクション要素に配慮した階層的アクション認識のための協調学習フレームワーク「Cooperative Compositional Action Understanding(CCAU)」を提案する。CCAUは、すべてのモダリティにおいて一貫した性能向上を示した。さらに、少量のサンプル(たった1サンプル)でのみ学習させた場合でも、CCAUは少サンプルアクション認識において構成の協調学習の有効性を実証し、28.6%のmAPを達成した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています