深層ボクセルフローを用いたビデオフレーム合成

既存のビデオに新しいフレームを合成する問題に取り組んでいます。これは、既存のフレーム間（補間）またはそれらの後に（外挿）新たなフレームを生成することです。この問題は、ビデオの外観と動きが非常に複雑であるため、挑戦的です。従来の光学フローに基づく解決策は、フロー推定が困難な場合によく失敗し、新しいニューラルネットワークに基づく方法はピクセル値を直接生成するためしばしばぼやけた結果を生み出します。これらの2つの方法の利点を組み合わせるために、既存のピクセル値から流れることでビデオフレームを合成する深層ネットワークを学習させる手法を開発しました。これをディープボクセルフローと呼びます。当手法は人間の監督を必要とせず、任意のビデオを使用して訓練データとして利用できます。これには、既存のフレームを削除し、その後そのフレームを予測するというプロセスが含まれます。本技術は効率的であり、任意の解像度のビデオに対して適用可能です。当手法が定量的にも定性的にも最先端技術を超える結果を生み出すことを示しています。