大規模、高速かつ正確なショット境界検出を実現する空間時間畳み込みニューラルネットワークを用いた手法

ショット境界検出（SBD）は、ビデオ操作の重要な前処理ステップです。ここでは、各フレームのセグメントが急変移行、徐変移行、または移行なしに分類されます。現在のSBD技術は、手作業で設計された特徴量を解析し、検出精度と処理速度の両方を最適化しようと試みています。しかし、光流計算の重い負荷がこれを妨げています。本研究では、空間時間畳み込みニューラルネットワーク（CNN）に基づくSBD技術を提案します。現在のデータセットは十分な大きさではなく、正確なSBD CNNを学習させるのに適していないため、350万フレーム以上の急変移行と徐変移行を含む新しいデータセットを提示します。これらの移行は画像合成モデルを使用して合成的に生成されました。また、当該データセットには重要なハードネガティブな移行なしの追加7万フレームが含まれています。我々はこれまで最大規模となるSBDアルゴリズムの評価を行い、実際のデータと合成データ合わせて485万フレーム以上を使用しました。現状最良の手法と比較して、我々の手法は徐変溶解検出において優れた性能を示し、急変検出において競合する性能を発揮し、ワイプ検出において大幅な改善を達成しています。さらに、現状最良の手法よりも最大11倍速い処理速度を実現しています。