ビデオにおける自己監督および多タスク学習を用いた異常検出

ビデオにおける異常検出は、挑戦的なコンピュータビジョンの問題です。訓練時において異常事象が不足しているため、異常検出には完全な教師あり学習なしで学習方法を設計する必要があります。本論文では、物体レベルでの自己監督学習と多タスク学習を用いて、ビデオにおける異常事象検出に取り組んでいます。まず、事前学習済みの検出器を使用して物体を検出し、次に3次元畳み込みニューラルネットワーク（3D CNN）を用いて複数の代理タスクを同時学習することで、特異な異常情報を生成します。これらの代理タスクは以下の通りです：(i) 前進/後退する物体の識別（時間の矢印）、(ii) 連続的/間欠的なフレーム内の物体の識別（運動の非規則性）、(iii) 物体固有の外観情報の再構成。知識蒸留タスクは分類情報と検出情報を両方考慮し、異常が発生した際に教師モデルと学生モデル間で大きな予測差を生成します。当研究グループが知る限り、我々は初めてビデオにおける異常事象検出を多タスク学習問題として扱い、単一アーキテクチャ内で複数の自己監督および知識蒸留代理タスクを統合しました。我々の軽量アーキテクチャはAvenue, ShanghaiTech, UCSD Ped2という3つのベンチマークで最先端手法を上回っています。さらに、アブレーションスタディを行い、自己監督学習と正常性特異的な蒸留を多タスク学習設定で統合することの重要性を示しています。