要約
画像のフレアは、カメラレンズが強光源を向いている際に発生する一般的な問題であり、ゴースト化やブローミング、その他のアーティファクトとして現れ、画像の品質を低下させることがある。本研究では、深度推定と画像復元を組み合わせた新しい深層学習アプローチを提案する。まず、Dense Vision Transformerを用いてシーンの深度を推定し、その深度マップを入力画像と連結する。その後、連結された入力は、画像復元に適した一般的なU字型トランスフォーマーであるUformerに投入される。提案手法は、Flare7K++テストデータセットにおいて最先端の性能を達成しており、画像からフレアアーティファクトを効果的に除去できることを示している。さらに、さまざまな種類のフレアを含む実世界の画像に対しても、高いロバスト性と汎化能力を示している。本研究により、深度情報の画像復元への応用という新たな可能性が開かれたと考える。実装コードはGitHubで公開されている。