FILM：大規模な運動におけるフレーム補間

本稿では、大きな中間運動を伴う2枚の入力画像から複数の中間フレームを合成するフレーム補間アルゴリズムを提案する。近年の手法では、光流または深度を推定する複数のネットワークと、フレーム合成専用の別々のネットワークを用いることが一般的である。しかし、このようなアプローチはしばしば構造が複雑であり、光流や深度の真値（ground-truth）データが限られているという課題を抱えている。本研究では、すべてのスケールで重みを共有するマルチスケール特徴抽出器を備えた単一の統合型ネットワークを提案する。このネットワークは、フレームデータのみから学習可能である。鮮明で視覚的に魅力的なフレームを生成するため、特徴マップ間の相関差を測定するグラム行列損失（Gram matrix loss）を用いた最適化手法を提案する。Xiphの大運動ベンチマークにおいて、最先端手法を上回る性能を達成した。また、知覚損失（perceptual loss）を用いる手法と比較して、Vimeo-90K、Middlebury、UCF101の各データセットにおいても高いスコアを記録した。さらに、重み共有の効果および運動範囲が広がるデータセットでの学習の影響を検証した。最後に、困難な近似同一画像データセット上で、高品質かつ時間的に一貫性のある動画の合成において、本モデルの有効性を実証した。コードおよび事前学習済みモデルは、https://film-net.github.io にて公開されている。