効率的なサブピクセル畳み込みニューラルネットワークを用いたリアルタイムの単一画像および動画の超解像処理

最近、深層ニューラルネットワークを基にしたいくつかのモデルが、単一画像の超解像（Super-Resolution: SR）において再構成精度と計算性能の両面で大きな成功を収めています。これらの手法では、低解像度（Low Resolution: LR）入力画像が再構成前に一般的にはbicubic補間を使用して高解像度（High Resolution: HR）空間に拡大されます。つまり、超解像操作はHR空間で行われます。本研究では、この方法が非最適であり、計算複雑さを増加させることが示されています。本論文では、単一のK2 GPU上で1080pビデオのリアルタイムSRを達成する最初の畳み込みニューラルネットワーク（Convolutional Neural Network: CNN）を提案します。これを実現するために、特徴マップがLR空間から抽出される新しいCNNアーキテクチャを提案します。さらに、効率的なサブピクセル畳み込み層を導入し、最終的なLR特徴マップをHR出力に拡大するためのアップスケーリングフィルタ群を学習します。これにより、SRパイプライン内の手作業によるbicubicフィルタを各特徴マップに対して特別に訓練されたより複雑なアップスケーリングフィルタで置き換えつつ、全体的なSR操作の計算複雑さも削減しています。提案手法は公開データセットからの画像とビデオを使用して評価され、従来のCNNベース手法よりも大幅に優れた性能（画像で+0.15dB、ビデオで+0.39dB）と1桁速い処理速度を持つことが示されました。