サイクル一貫性を用いた非監督動画補間

高フレームレートビデオの合成を学習するためには、大量の高フレームレートの訓練用ビデオが必要ですが、特に高解像度の場合、このようなデータは希少です。本研究では、低フレームレートビデオから直接高フレームレートビデオを合成するためのサイクル一貫性を利用した非監督技術を提案します。連続する3つのフレームについて、中央のフレームとそのサイクル再構成（中間補完されたフレームから逆補完して得られる）との乖離を最小化するモデルを最適化します。この単純な非監督制約だけでも、真の中間フレームを使用した監督による結果と同等の性能が達成されます。さらに、事前学習済みの補完モデルによる予測と一貫性を持つように中間フレームを補完させる疑似監督損失項を導入します。この疑似監督損失項とサイクル一貫性を組み合わせることで、事前学習済みモデルを新しいターゲットドメインに効果的に適応させることができます。追加のデータなしで完全に非監督的な方法により、当社の技術は新しいターゲットドメインでの事前学習済みモデルの性能を大幅に向上させ、Slowflow評価データセットではPSNR値が32.84dBから33.05dBへ、Sintel評価データセットでは31.82dBから32.53dBへ向上しました。