2ヶ月前
EnlightenGAN: ペアリングされた教師なしでの深層光強化
Yifan Jiang; Xinyu Gong; Ding Liu; Yu Cheng; Chen Fang; Xiaohui Shen; Jianchao Yang; Pan Zhou; Zhangyang Wang

要約
深層学習に基づく手法は画像の修復と強化において著しい成功を収めていますが、ペアデータが不足している場合でも競争力があるのでしょうか?本論文では、実際には同じ視覚シーンの低照度画像と通常照度画像を同時に撮影することが非常に困難である低照度画像強化問題を取り上げます。私たちは、低照度/通常照度の画像ペアなしで訓練できるにもかかわらず、様々な実世界のテスト画像に対して非常に良い汎化性能を示す高効率の非教師あり生成対抗ネットワーク(Generative Adversarial Network: GAN)であるEnlightenGANを提案します。教師ありデータを使用せずに学習を監督する代わりに、入力自体から抽出された情報を用いて非ペア訓練を正則化することを提案します。さらに、低照度画像強化問題に対する一連の革新点をベンチマークし、それらにはグローバル-ローカル識別器構造、自己正則化パーセプチュアル損失融合、および注意機構が含まれます。広範な実験を通じて、私たちの提案手法は視覚品質と主観的なユーザースタディにおいて最近の方法よりも優れた性能を示しています。非ペア訓練によってもたらされる大きな柔軟性により、EnlightenGANは様々な領域からの実世界の画像を容易に強化することができることが示されています。コードは\url{https://github.com/yueruchen/EnlightenGAN}で公開されています。