物理学的知見を備えた単一画像の霞消去のためのカリキュラム対照正則化

単一画像の霞消去（dehazing）において、問題が不適切に定義されている（ill-posed）という特性を考慮し、対照的正則化（contrastive regularization）が提案されてきた。これは、明瞭画像（正例）から離れた負例画像からの情報を利用して、下界（lower bound）としての制約を導入するものである。しかし、従来の対照的サンプルは一貫性に欠けている。具体的には、負例が通常、明瞭画像（正例）から大きく離れて表現されるため、解空間の制約が依然として不十分な状態に留まる。さらに、深層霞消去モデルの物理的意味解釈（interpretability）は、霞の生成過程に関する物理モデル（大気散乱モデル）と結びついていないまま、未だ十分に探求されていない。本論文では、非一貫性（non-consensual）な対照空間ではなく、一貫性のある（consensual）対照空間を標的とする新しいカリキュラム型対照的正則化を提案する。本研究で用いる負例は、明瞭画像との関係性においてより強い下界制約を提供できるように設計されており、以下の2つの構成要素から構成される：1）元の霞がかった画像、および2）既存の他の手法による復元結果。さらに、明瞭画像と負例の埋め込み表現（embeddings）間の類似性に差異があるため、複数の学習成分における学習難易度が本質的に不均衡となる。この問題に対処するため、異なる負例の重要性を再重み付けするカスタマイズされたカリキュラム学習戦略を導入する。また、特徴空間における解釈可能性を向上させるために、大気散乱モデル（atmospheric scattering model）に基づいた物理知覚型の二重ブランチユニット（physics-aware dual-branch unit）を構築した。このユニットと、カリキュラム型対照的正則化を統合することで、本研究で提案する霞消去ネットワーク「C2PNet」を構築した。広範な実験により、C2PNetは最先端の手法を大きく上回ることが実証された。特に、SOTS-indoorおよびSOTS-outdoorデータセットにおいて、それぞれ3.94dBおよび1.50dBという極めて顕著なPSNR向上が達成された。