HyperAIHyperAI

Command Palette

Search for a command to run...

SSMTL++:動画異常検出のための自己教師付きマルチタスク学習の再検討

Antonio Barbalau Radu Tudor Ionescu Mariana-Iuliana Georgescu Jacob Dueholm Bharathkumar Ramachandra Kamal Nasrollahi Fahad Shahbaz Khan Thomas B. Moeslund Mubarak Shah

概要

最近の文献において、動画異常検出を目的とした自己教師付きマルチタスク学習(SSMTL)フレームワークが提案された。その高い精度に加え、本手法は多くの研究者からの注目を集めている。本研究では、この自己教師付きマルチタスク学習フレームワークを再検討し、元の手法に対するいくつかの改良を提案する。まず、光学フローを用いた高運動領域の検出や背景差分法に基づく検出など、さまざまな異常検出手法を検討する。その理由として、現在使用されている事前学習済みYOLOv3は最適ではないと捉えており、特に運動中の物体や未知クラスの物体は検出されないという問題があると考える。次に、最近の視覚変換器(Vision Transformer)の成功に触発され、3D畳み込みバックボーンを現代化するため、マルチヘッド自己注意(multi-head self-attention)モジュールを導入する。これにより、2Dおよび3D畳み込み型視覚変換器(Convolutional Vision Transformer: CvT)ブロックを併用する新たなアーキテクチャを提案する。さらに、モデル性能のさらなる向上を目指し、知識蒸留を用いたセグメンテーションマップ予測、ジグソーパズルの解法、知識蒸留を用いたボディポーズ推定、マスクされた領域の予測(インペイント)および疑似異常を用いた敵対学習など、追加の自己教師付き学習タスクを検討する。導入した各変更の性能への影響を実験により評価した。より有望なフレームワーク構成として、SSMTL++v1およびSSMTL++v2を同定した後、初期実験をより多くのデータセットへ拡張し、性能向上がすべてのデータセットにおいて一貫して確認された。特にAvenue、ShanghaiTech、UBnormalデータセットにおいて、本手法は従来の最先端性能を大きく上回る結果を達成し、異常検出分野における性能の新たな基準を提示した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています