要約
以前のCNN（畳み込みニューラルネットワーク）を基にしたビデオ超解像手法では、複数のフレームをリファレンスに合わせる必要がありました。本論文では、適切なフレームアライメントとモーション補償が高品質な結果を得る上で重要であることを示しています。これに基づいて、CNNフレームワーク内に「サブピクセルモーション補償」（Sub-Pixel Motion Compensation: SPMC）層を提案します。解析と実験により、この層がビデオ超解像（Super-Resolution: SR）において適していることが確認されました。最終的なエンドツーエンドかつスケーラブルなCNNフレームワークは、SPMC層を効果的に組み込み、複数のフレームを融合して画像の詳細を明らかにすることができます。当該実装は、パラメータ調整なしで、視覚的にも定量的にも現行の最先端技術よりも優れた高品質な結果を生成することが可能です。