HyperAIHyperAI

Command Palette

Search for a command to run...

弱教師付き時空間行動局所化における完全性モデリングとコンテキスト分離

Yizhou Wang Tingting Jiang Daochang Liu

概要

時系列行動局所(Temporal action localization)は、トリムされていない動画を理解する上で極めて重要である。本研究では、時系列行動局所における弱教師付き学習(weak supervision)によって生じる未解明な2つの問題、すなわち「行動の完全性モデリング」と「行動と文脈の分離」を最初に特定した。その後、新たなネットワークアーキテクチャとその学習戦略を提示することで、これらの問題を明示的に取り扱った。具体的には、行動の完全性をモデル化するため、複数の分岐(branch)を持つニューラルネットワークを提案する。各分岐は、特徴的な行動部分を発見するように強制されるため、異なる分岐からの活性化を統合することで、完全な行動を正確に局所化できる。また、行動の実例とその周囲の文脈を分離するため、運動が停止している動画クリップは行動である可能性が低いという事前知識を用いて、ハードネガティブデータを生成し、学習に活用した。THUMOS'14およびActivityNetデータセット上での実験結果から、本フレームワークは最先端手法を上回ることが確認された。特にActivityNet v1.2における平均mAPは、18.0%から22.4%まで顕著に向上した。本研究のコードは近日中に公開される予定である。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
弱教師付き時空間行動局所化における完全性モデリングとコンテキスト分離 | 記事 | HyperAI超神経