時空間フィルタ適応ネットワークによるビデオのぼけ除去

ビデオのぼかし除去は、カメラの揺れ、物体の動き、深度変化などによって引き起こされる空間的に変動するぼかしのために、非常に困難な課題となっています。既存の方法では、一般的にぼけたビデオ内の光学フローを推定して連続フレームを合わせたり、ぼかしカーネルを近似したりします。しかし、推定された光学フローが正確でない場合、これらの方法はアーティファクトを生成したり、効果的にぼかしを除去できないことがあります。この問題に対処するために、我々は統一的な枠組みでフレームの合わせとぼかし除去を行うための空間時間フィルタ適応ネットワーク（Spatio-Temporal Filter Adaptive Network: STFAN）を提案します。提案されたSTFANは、前のフレームのぼけた画像と復元された画像、および現在のフレームのぼけた画像を受け取り、動的に空間適応フィルタを生成します。さらに、新しいフィルタ適応畳み込み（Filter Adaptive Convolutional: FAC）層を提案し、前のフレームのぼかし除去された特徴量を現在のフレームに合わせて、現在のフレームの特徴量から空間的に変動するぼかしを取り除きます。最後に、2つの変換された特徴量の融合を受け取る再構築ネットワークを開発しました。ベンチマークデータセットや実世界のビデオに対する定量的および定性的評価結果は、提案したアルゴリズムが精度、速度およびモデルサイズにおいて最先端的方法に対して有利に機能することを示しています。