Super SloMo: 動画補間のための高品質な中間フレームの多重推定

2つの連続するフレームが与えられた場合、ビデオ補間の目的は中間フレームを生成し、空間的にも時間的にも一貫したビデオシーケンスを形成することです。既存の方法の多くは単一フレームの補間に焦点を当てていますが、我々は変動長さの多フレームビデオ補間用のエンドツーエンド型畳み込みニューラルネットワークを提案します。このネットワークでは、運動解釈と遮蔽推論が統合してモデル化されます。まず、U-Netアーキテクチャを使用して入力画像間で双方向光流を計算します。これらの光流はその後、各時間ステップで線形に結合され、中間の双方向光流を近似します。しかし、これらの近似された光流は局所的な滑らかな領域では良好に機能しますが、運動境界付近ではアーティファクト（人工的異常）を生じます。この欠点に対処するために、別のU-Netを使用して近似された光流を精緻化するとともに、ソフト可視性マップを予測します。最後に、2つの入力画像が歪曲され（ワープされ）、線形に合成されて各中間フレームが形成されます。融合前に可視性マップを歪曲された画像に適用することで、遮蔽されたピクセルの中間フレームへの寄与を排除し、アーティファクトの発生を防ぎます。我々の学習済みネットワークパラメータは時間依存性がないため、必要に応じて任意の数の中間フレームを生成することができます。ネットワークの訓練には240fpsの1,132本のビデオクリップを使用しました。これらには30万枚以上の個々のビデオフレームが含まれています。複数のデータセットにおける実験結果（異なる数の中間フレーム予測）は、我々の手法が既存手法よりも一貫して優れていることを示しています。