デブラーイングによる現実的なブラーの再現

画像のぼかし除去に向けた従来の深層学習手法は、鮮明な画像とそのぼかし画像のペアを用いてモデルを訓練するが、合成的にぼかされた画像は、実世界における本物のぼかしプロセスを十分に正確にモデル化するとは限らない。この問題に対処するため、本研究では、画像をぼかす方法を主に学習することにより、より優れた画像のぼかし除去モデルを学習するための新規手法を提案する。この手法は、ぼかし学習用のGAN（BGAN）と、ぼかし除去学習用のGAN（DBGAN）の2つのGANモデルを組み合わせたものである。最初のモデルであるBGANは、対応する鮮明画像とぼけ画像のペアを持たないデータセットを用いて、鮮明な画像を適切にぼかす方法を学習し、その学習結果をもとに、2番目のモデルであるDBGANがそのぼけ画像を正しく復元する方法を学習する。実際のぼかしと合成ぼかしの差異を低減するため、相対的ぼかし損失（relativistic blur loss）を導入した。さらに、本研究では、多様な実世界のぼけ画像を含む新しい「実世界ぼけ画像データセット（Real-World Blurred Image, RWBI）」の構築も行った。実験の結果、提案手法は新たに提案したRWBIデータセットおよび公開されているGOPROデータセットの両方において、定量的な評価指標で一貫して優れた性能を達成するとともに、人的知覚品質も向上していることが確認された。