8日前

弱教師付き動画異常検出:ロバストな時系列特徴マグニチュード学習による

Yu Tian, Guansong Pang, Yuanhong Chen, Rajvinder Singh, Johan W. Verjans, Gustavo Carneiro
弱教師付き動画異常検出:ロバストな時系列特徴マグニチュード学習による
要約

弱教師付き動画レベルラベルを用いた異常検出は、通常、複数インスタンス学習(Multiple Instance Learning: MIL)の問題として定式化される。この設定では、各動画を動画スニペットの「袋(bag)」として表現し、異常イベントを含むスニペットを特定することを目的とする。現在の手法は効果的な検出性能を示しているものの、異常動画内に存在する希少な異常スニペット(正例)の識別は、特に異常イベントが正常イベントとわずかな差異しか示さない微細な異常である場合、支配的な負例(負のスニペット)に大きく偏ってしまうという問題がある。また、多くの既存手法は動画の時間的依存性を無視しているため、この問題はさらに悪化する。本研究では、この課題を解決するため、理論的に整合性のある新しい手法である「ロバスト・テンポラル・フェーチャー・マグニチュード学習(Robust Temporal Feature Magnitude learning: RTFM)」を提案する。RTFMは、正例(異常スニペット)を効果的に識別できる特徴マグニチュード学習関数を学習することで、MILアプローチの負例に対するロバスト性を著しく向上させる。さらに、膨張畳み込み(dilated convolutions)と自己注意機構(self-attention mechanisms)を導入し、長距離および短距離の時間的依存性を効果的に捉えることで、特徴マグニチュードの学習をより忠実なものにしている。広範な実験の結果、RTFMを搭載したMILモデルは、4つのベンチマークデータセット(ShanghaiTech、UCF-Crime、XD-Violence、UCSD-Peds)において、複数の最先端手法を大きく上回る性能を達成した。さらに、微細な異常の識別能とサンプル効率が顕著に向上した。コードは以下のURLから入手可能である:https://github.com/tianyu0207/RTFM。

弱教師付き動画異常検出:ロバストな時系列特徴マグニチュード学習による | 最新論文 | HyperAI超神経