ビデオシーケンスにおける時間的規則性の学習

長時間のビデオシーケンスから意味のある活動を認識することは、「意味性」の曖昧な定義やシーン内の雑多さ（clutters）により、難問となっています。この問題に対処するために、最小限の監督下で複数の情報源から規則的な運動パターン（regularity）を学習する生成モデルを開発しました。具体的には、自己符号化器（autoencoders）が少量または無監督で動作できる能力に基づいて、2つの手法を提案します。まず、従来の手作業による空間時間局所特徴量を使用し、それらに対して全結合型自己符号化器を学習させます。次に、局所特徴量と分類器を端対端の学習フレームワークとして学習させるため、完全畳み込み型フィードフォワード自己符号化器を構築します。当モデルは複数のデータセットから規則性を捉えることができます。手法の評価は定性的および定量的な両面から行い、様々な観点でのビデオの規則性を示すとともに、異常検出データセットにおいて競合する性能を達成することを実証しています。