Command Palette
Search for a command to run...
非常に高速なショット境界検出手法:完全畳み込みニューラルネットワークを用いた方法
非常に高速なショット境界検出手法:完全畳み込みニューラルネットワークを用いた方法
Gygli Michael
概要
ショット境界検出(SBD)は、アクション認識、ビデオインデキシング、要約、編集など、多くのビデオ分析タスクにおいて重要な要素である。従来の手法では、色ヒストグラムなどの低レベル特徴を用い、SVMなどの単純なモデルと組み合わせて処理する方法が一般的であった。一方、本研究では、ピクセルから最終的なショット境界までをエンド・ツー・エンドで学習するアプローチを提案する。このようなモデルの学習には、我々の洞察である「すべてのショット境界は生成される」という点に依拠している。したがって、カット、ディゾルブ、フェードなどの自動生成されたトランジションを含む、100万フレームからなるデータセットを構築した。長時間にわたるビデオを効率的に分析するため、時間方向に完全に畳み込み構造を持つ畳み込みニューラルネットワーク(CNN)を提案する。これにより、フレームの繰り返し処理を必要とせずに、広い時間的文脈を活用することが可能となる。本手法は、従来の最先端技術を上回る性能を達成しつつ、120倍以上のリアルタイム速度で実行可能である。