要約
深層端対端学習手法は非一様な運動ブラーの除去においてその優位性を示していますが、現在のマルチスケールおよびスケール再帰モデルには依然として大きな課題が存在します。1) 粗いレベルから細かいレベルへのスキームにおける逆畳み込み/アップサンプリング操作は、実行時間を大幅に増加させます；2) 単純に細かいスケールレベルを追加してモデルの深さを増やすだけでは、ブラー除去の品質向上につながらないという問題があります。これらの課題に対処するため、我々は空間ピラミッドマッチング（Spatial Pyramid Matching）に着想を得た深層階層マルチパッチネットワークを提案します。このネットワークは、細かいレベルから粗いレベルへと階層的に表現することで、ぼけた画像を処理します。また、深度による性能飽和問題に対処するために、我々は提案したマルチパッチモデルのスタック版も提案します。我々が提案する基本的なマルチパッチモデルは、GoProデータセットにおいて最先端の性能を達成しており、現行のマルチスケール手法と比較して40倍以上の高速な実行時間を享受しています。1280x720解像度の画像を30ミリ秒で処理できるため、これは初めて30fpsで720p画像に対してリアルタイムに動作する深層運動ブラー除去モデルとなります。スタックネットワークについては、ネットワークの深さを増やすことでGoProデータセット上で有意な改善（1.2dB以上）が達成されました。さらに、スタックモデルの深さを変えることで、同じネットワークでも異なる応用シナリオに合わせて性能と実行時間を調整することが可能です。