Command Palette
Search for a command to run...
弱教師付き時系列行動局所化のためのアクションユニットメモリネットワーク
弱教師付き時系列行動局所化のためのアクションユニットメモリネットワーク
Wang Luo Tianzhu Zhang Wenfei Yang Jingen Liu Tao Mei Feng Wu Yongdong Zhang
概要
弱教師付き時系列行動定位は、学習時に動画レベルのラベルのみを用いて、トリムされていない動画内の行動を検出および局所化することを目的としている。しかし、フレームレベルのアノテーションが存在しないため、局所化の完全性を達成し、背景の干渉を軽減することは困難である。本論文では、行動ユニットメモリバンクを学習することで、上記の2つの課題を緩和するための行動ユニットメモリネットワーク(AUMN: Action Unit Memory Network)を提案する。提案するAUMNでは、メモリバンクを適応的に更新し、行動ユニット固有の分類器を学習するための2つのアテンションモジュールを設計している。さらに、メモリネットワークの更新をガイドするための3つの有効なメカニズム(多様性、一貫性、スパース性)を導入している。筆者らの知る限り、本研究は初めてメモリネットワークを用いて行動ユニットを明示的にモデル化した最初の試みである。THUMOS14およびActivityNetという2つの標準ベンチマークにおける広範な実験結果から、本AUMNが最先端の手法と比較しても優れた性能を発揮することが示された。特に、THUMOS14データセットにおけるIoU閾値0.1~0.5の平均mAPは、47.0%から52.1%へと顕著に向上した。