密度の認識とモデリングこそが、画像の霞消去に必要なすべてである

現実世界における霧による画像劣化は、画像ごとに霧の空間分布が異なり、非常に複雑な特性を示す。近年の手法では、深層ニューラルネットワークを用いて、霧がかかっている画像から直接クリーンなシーンを復元しようとするアプローチが採られている。しかし、実際の撮影画像における霧の変動性と、現在のネットワークが固定された劣化パラメータを仮定しているという矛盾により、既存の除霧手法の現実世界の霧画像に対する汎化性能は十分ではない。本研究では、現実の霧の劣化を適切にモデル化するため、不均一な霧分布の密度を捉え、モデル化するアプローチを提案する。具体的には、直交方向の特徴を捉えることで霧密度を効果的に符号化する、新規の分離型ハイブリッドアテンション（Separable Hybrid Attention: SHA）モジュールを導入する。さらに、霧の不均一な分布を明示的にモデル化するための密度マップを提案し、この密度マップは半教師ありの方法で位置符号化を生成する。このようにして、特徴レベルで不均一な劣化を効果的に捉えることが可能となる。SHAモジュールと密度マップを適切に組み合わせることで、性能と計算量のバランスに優れた新規な除霧ネットワークアーキテクチャを構築した。2つの大規模データセットを用いた広範な実験により、本手法が従来の最先端手法を大きく上回ることが示された。定量的・定性的な評価において、Haze4kテストデータセットではPSNRを28.53 dBから33.49 dBまで向上させ、SOTSインテリアテストデータセットでは37.17 dBから38.41 dBまで改善した。