要約
DNNに基づくフレーム補間——連続する2つのフレームから中間フレームを生成する手法——は、通常、膨大な数の特徴量を扱う重いモデルアーキテクチャに依存しており、モバイルデバイスなどリソースが制限されたシステムへの展開を困難にしている。本研究では、スパース性を促進する最適化を用いたモデルプルーニングを活用することで、モデルサイズを大幅に削減しつつ、優れた性能を達成する「圧縮駆動型ネットワーク設計（CDFI）」を提案する。具体的には、最近提案されたAdaCoFモデルをまず圧縮し、10倍の圧縮率下でも元のモデルと同等の性能を達成できることを示した。さらに、多スケールのワーピングモジュールを導入することで、この圧縮モデルの性能を向上させ、複数レベルの詳細情報を保持した視覚的な一貫性を強化した。その結果、元のAdaCoFと比較してモデルサイズは四分の一にまで削減しつつ、顕著な性能向上を実現した。また、広範なデータセットにおいて、他の最先端手法と比較しても優れた性能を発揮した。最後に、本研究で提案する圧縮駆動型フレームワークは汎用性が高く、他のDNNベースのフレーム補間アルゴリズムへの容易な適用が可能である。実装コードは、https://github.com/tding1/CDFI にて公開されている。