コントラスト学習を用いた画像品質評価

自己教師ありのアプローチにより、画像品質の表現を獲得する問題に取り組む。本研究では、合成および現実的な歪みが混合されたラベルなし画像データセットから特徴を学習するため、歪みの種類と程度の予測を補助タスクとして用いる。その後、対照的なペアワイズ目的関数を用いて深層畳み込みニューラルネットワーク（CNN）を訓練し、この補助タスクを解決する。提案する訓練フレームワークおよび得られた深層画像品質評価モデルを「CONTRastive Image QUality Evaluator（CONTRIQUE）」と呼ぶ。評価フェーズでは、CNNの重みは固定され、線形回帰器が学習された表現を、参照なし（No-Reference, NR）設定における品質スコアにマッピングする。広範な実験により、CONTRIQUEが、CNNバックボーンの追加ファインチューニングを一切行わずに、最先端のNR画像品質モデルと比較しても競争力ある性能を達成することを示した。学習された表現は非常に高いロバスト性を持ち、合成歪みまたは実際の歪みを含む画像に対して優れた汎化性能を示す。本研究の結果から、大規模なラベル付き主観的画像品質データセットを必要とせずに、知覚的に意味のある強力な品質表現を得ることが可能であることが示唆される。本論文で用いられた実装コードは、\url{https://github.com/pavancm/CONTRIQUE} にて公開されている。