HyperAIHyperAI

Command Palette

Search for a command to run...

弱教師付き時系列アクション検出 - 階層的な原子アクションを用いた細分化ビデオ向け

Zhi Li Lu He Huijuan Xu

概要

行動理解は微細粒度の時代に進化しています。実際の生活におけるほとんどの人間の行動には僅かな違いしか存在しないため、これらの微細な行動を効率的にラベル付けしつつ正確に検出する問題に取り組む必要があります。本研究では、初めて弱教師ありの微細粒度時系列行動検出(weakly-supervised fine-grained temporal action detection)という課題に挑戦します。微細粒度の行動間の微妙な違いを捉えるための慎重な設計がなければ、従来の一般的な行動検出用弱教師ありモデルは微細粒度設定で十分な性能を発揮できません。我々は、自己監督クラスタリングを通じてデータから自動的に発見される再利用可能な原子的な行動(atomic actions)の組み合わせとして行動をモデル化することを提案します。これにより、微細粒度の行動の共通性と個別性を捉えることが可能となります。学習された原子的な行動は視覚的概念によって表現され、さらに意味的なラベル階層を利用して微細および粗い行動ラベルにマッピングされます。我々の手法は、クリップレベル、原子的行動レベル、微細行動クラスレベル、粗い行動クラスレベルという4つのレベルからなる視覚的表現階層を構築し、各レベルでの教師あり学習を行います。大規模な2つの微細粒度ビデオデータセットであるFineActionとFineGymにおいて広範囲にわたる実験が行われました。その結果、提案した弱教師ありモデルが微細粒度行动検出において優れた効果を示し、最先端の成果を達成していることが確認されました。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
弱教師付き時系列アクション検出 - 階層的な原子アクションを用いた細分化ビデオ向け | 記事 | HyperAI超神経