2ヶ月前

深層多スケール畳み込みニューラルネットワークによる動的シーンのぼけ除去

Seungjun Nah; Tae Hyun Kim; Kyoung Mu Lee
深層多スケール畳み込みニューラルネットワークによる動的シーンのぼけ除去
要約

非一様なブラの除去は、一般的な動的シーンにおいて複雑な物体の動きやカメラの揺れ、シーンの深度変化などから生じるため、コンピュータビジョンにおける難しい問題となっています。これらの複雑な運動ブラーを除去するためには、従来のエネルギー最適化に基づく手法では、ブラー核が部分的に一様であるか局所的に線形であるという単純な仮定に依存しています。さらに、最近の機械学習ベースの手法もこれらの仮定のもとで生成された合成ブラーデータセットに依存しています。これにより、ブラー核を近似またはパラメータ化するのが困難な領域(例えば、物体運動境界)でのブラー除去が失敗することがあります。本研究では、様々な原因によるブラーをエンドツーエンドで鋭利化する多スケール畳み込みニューラルネットワークを提案します。また、従来の粗い段階から細かい段階へのアプローチを模倣した多スケール損失関数も提示します。さらに、高速カメラを使用して得られた現実的なぼけた画像と対応する真値の鋭利画像のペアを提供する新しい大規模データセットを提案します。このデータセットで訓練された提案モデルを使用して、実験的に当手法が動的シーンのブラ除去において最新の性能を達成していることを示します。これは質的評価だけでなく、量的評価でも確認されています。

深層多スケール畳み込みニューラルネットワークによる動的シーンのぼけ除去 | 最新論文 | HyperAI超神経