2ヶ月前

深層移動カメラ背景モデル

Guy Erez; Ron Shapira Weber; Oren Freifeld
深層移動カメラ背景モデル
要約

ビデオ分析において、背景モデルは背景/前景分離、変化検出、異常検出、追跡など多くの応用を持っています。しかし、静止カメラで撮影されたビデオの背景モデルを学習することは比較的解決済みの課題である一方、移動カメラ背景モデル(Moving-camera Background Model: MCBM)では、カメラの動きに起因するアルゴリズムとスケーラビリティの問題により、成功は限定的なものとなっています。したがって、既存のMCBMはその範囲やサポートするカメラ動作タイプに制限があります。これらの障壁はまた、この非監督タスクにおける深層学習(Deep Learning: DL)に基づくエンドツーエンドソリューションの利用を阻んできました。さらに、既存のMCBMは通常、一般的に大きなパノラマ画像のドメイン上でまたはオンライン形式で背景をモデル化します。前者はスケーラビリティが悪くなるなどの問題を引き起こし、後者はカメラが以前に見たシーンの部分に戻った場合の認識や活用を妨げます。本論文では、これらの問題をすべて解消し最先端の結果を達成する新しい手法「DeepMCBM」を提案します。具体的にはまず、一般的なビデオフレームの同時アライメントと特にDL環境下でのアライメントに関連する困難性を特定します。次に、正則化も専門的な(かつ微分不可能な)初期化も必要としない空間変換ネットワークを使用できる新しいアライメント戦略を提案します。この戦略と未歪曲化された堅牢中心モーメント(同時アライメントから得られる)に基づくオートエンコーダーとの組み合わせにより、広範なカメラ動作に対応しスケーラブル性を持つエンドツーエンドで正則化不要なMCBMが実現できます。私たちは様々なビデオに対してDeepMCBMの有用性を示しており、他の方法では対応できない範囲外のビデオも含んでいます。私たちのコードは https://github.com/BGU-CS-VIL/DeepMCBM で公開されています。