低照度画像増強のための意味論的意識型知識ガイダンスの学習

低照度画像強調（LLIE）は、照度を向上させ、通常の照明条件下の画像を生成する手法を研究する分野である。既存の大多数の手法は、画像全体に対して一様かつグローバルなアプローチで低照度画像を改善するが、各領域の意味的情報を考慮していない。意味的事前知識（semantic prior）を欠いた場合、ネットワークは領域の元の色から逸脱しやすくなる。この問題に対処するため、本研究では、意味的セグメンテーションモデルに含まれる豊かで多様な事前知識を活用できるように設計された、新たな意味的意識型知識誘導フレームワーク（SKF: Semantic-aware Knowledge-guided Framework）を提案する。本フレームワークは、以下の3つの観点から意味的知識を統合することに注力している：（1）特徴表現空間において意味的事前知識を知的に統合する「意味的意識型埋め込みモジュール」、（2）異なるインスタンスの色の一貫性を保持するための「意味的誘導型色ヒストグラム損失」、（3）意味的事前知識を用いてより自然なテクスチャを生成する「意味的誘導型 adversarial 損失」。本SKFは、LLIEタスクにおける汎用的フレームワークとして非常に有効である。広範な実験により、SKFを搭載したモデルが複数のデータセットにおいてベースラインを顕著に上回ることが示され、異なるモデルやシーンへの汎化性能も優れている。コードは、Semantic-Aware-Low-Light-Image-Enhancement にて公開されている。