17日前

コンテキストの回復と知識の取得:動画異常検出のための新規二ストリームフレームワーク

Congqi Cao, Yue Lu, Yanning Zhang
コンテキストの回復と知識の取得:動画異常検出のための新規二ストリームフレームワーク
要約

動画異常検出は、動画内において期待される行動と異なるイベントを検出することを目的としている。従来の手法は主にスニペットの再構成または未来フレーム予測の誤差に基づいて異常を検出している。しかし、これらの誤差は現在のスニペットの局所的文脈に強く依存しており、正常性に関する理解が不足している。この問題に対処するため、本研究では異常イベントを局所的文脈だけでなく、テスト対象のイベントと学習データから得られる正常性に関する知識との一貫性に基づいて検出することを提案する。具体的には、文脈復元と知識取得の両方を実現する新しい二重ストリームフレームワークを提案する。この二つのストリームは互いに補完し合う構造となっている。文脈復元ストリームでは、運動情報の完全な活用が可能な時空間U-Netを提案し、将来のフレームを予測する。さらに、複雑な前景オブジェクトによって引き起こされる大きな復元誤差を緩和するため、最大局所誤差メカニズムを導入する。知識取得ストリームでは、シアメスネットワークと相互差分損失を用いてハッシュ関数を最適化する、改良型の学習可能な局所性に敏感なハッシュ(learnable locality-sensitive hashing)を提案する。正常性に関する知識はハッシュテーブルに符号化・保存され、テストイベントと知識表現との距離を用いて異常の確率を評価する。最後に、二つのストリームから得られる異常スコアを統合して異常を検出する。広範な実験により、二つのストリームの有効性および補完性が実証され、提案する二重ストリームフレームワークは4つのデータセットにおいて最先端の性能を達成した。

コンテキストの回復と知識の取得:動画異常検出のための新規二ストリームフレームワーク | 最新論文 | HyperAI超神経