HyperAIHyperAI

Command Palette

Search for a command to run...

弱教師付き時系列行動局所化のためのアクションユニットメモリネットワーク

Wang Luo Tianzhu Zhang Wenfei Yang Jingen Liu Tao Mei Feng Wu Yongdong Zhang

概要

弱教師付き時系列行動定位は、学習時に動画レベルのラベルのみを用いて、トリムされていない動画内の行動を検出および局所化することを目的としている。しかし、フレームレベルのアノテーションが存在しないため、局所化の完全性を達成し、背景の干渉を軽減することは困難である。本論文では、行動ユニットメモリバンクを学習することで、上記の2つの課題を緩和するための行動ユニットメモリネットワーク(AUMN: Action Unit Memory Network)を提案する。提案するAUMNでは、メモリバンクを適応的に更新し、行動ユニット固有の分類器を学習するための2つのアテンションモジュールを設計している。さらに、メモリネットワークの更新をガイドするための3つの有効なメカニズム(多様性、一貫性、スパース性)を導入している。筆者らの知る限り、本研究は初めてメモリネットワークを用いて行動ユニットを明示的にモデル化した最初の試みである。THUMOS14およびActivityNetという2つの標準ベンチマークにおける広範な実験結果から、本AUMNが最先端の手法と比較しても優れた性能を発揮することが示された。特に、THUMOS14データセットにおけるIoU閾値0.1~0.5の平均mAPは、47.0%から52.1%へと顕著に向上した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています