要約
モーションベースの動画フレーム補間は、通常、入力フレームのピクセルを所望の補間時刻に変形（ワープ）するための光流（optical flow）に依存している。しかしながら、モーション推定における固有の課題（例えば隠蔽や不連続性）のため、最先端の多くの補間手法では、ワープ結果の後処理による精緻化を必要とし、その結果、複数フレームの補間において著しく効率が低下する。本研究では、効率的なフレーム補間を実現するため、完全に微分可能（fully differentiable）な「多対多（Many-to-Many, M2M）スプラッティング」フレームワークを提案する。具体的には、フレームペアを入力として、複数の双方向光流を推定し、直接的にピクセルを所望の時刻へ前向きにワープした後、重複するピクセルを統合する。この手法により、各入力ピクセルが複数の出力ピクセルを生成し、各出力ピクセルがより広範な視覚的文脈から合成されるという多対多のスプラッティング構造が実現される。これにより、穴（holes）などのアーティファクトに対して高い耐性を有する補間が可能となる。さらに、M2Mでは各入力フレームペアに対してモーション推定を一度しか行わず、任意の数の補間フレームを生成する際の計算オーバーヘッドは極めて小さく、高速なマルチフレーム補間を実現している。広範な実験を通じてM2Mの性能を評価した結果、高い効果性を維持しつつ、著しく効率性が向上することが明らかになった。