GLARE: 生成潜在特徴に基づくコードブック検索を用いた低光量画像の強化

既存の低輝度画像強化（Low-light Image Enhancement: LLIE）手法は、低輝度（Low-Light: LL）画像を直接通常輝度（Normal-Light: NL）画像にマッピングするか、または意味情報や照明マップを使用してガイドします。しかし、LLIEの非適切な性質と障害のある入力からの意味情報取得の困難さにより、これらの手法は特に極端な低輝度条件下で制限されます。この問題に対処するために、生成潜在特徴に基づくコードブック検索（Generative LAtent feature based codebook REtrieval: GLARE）を用いた新しいLLIEネットワークを提案します。GLAREでは、ベクトル量子化（Vector Quantization: VQ）戦略を使用して未劣化のNL画像からコードブック事前情報を導出します。さらに重要な点として、生成逆変換潜在正規化フロー（Invertible Latent Normalizing Flow: I-LNF）モジュールを開発し、LL特徴分布をNL潜在表現に合わせることで、コードブックでの正しいコード検索を保証します。また、調整可能な機能を持つ新たな適応特徴変換（Adaptive Feature Transformation: AFT）モジュールを開発しました。AFTモジュールには適応ミックスアップブロック（Adaptive Mix-up Block: AMB）とデュアルデコーダー構造が含まれており、忠実性を向上させつつコードブック事前情報によって提供される現実的な詳細を保つことができます。広範な実験により、GLAREが様々なベンチマークデータセットや実世界データにおいて優れた性能を示すことが確認されました。さらに、低輝度物体検出タスクにおける前処理ツールとしての効果もGLAREの高次視覚応用への有効性を証明しています。コードは https://github.com/LowLevelAI/GLARE で公開されています。