品質意識的な画像-テキストアライメントによる意見非依存型画像品質評価

ノーリファレンス画像品質評価（NR-IQA）は、高品質なリファレンス画像が利用できない場合に、人間の知覚と一致する方法で画像品質を測定することに焦点を当てています。最新のNR-IQA手法の多くは意見指向型であり、つまり訓練のために人間の注釈が必要です。この依存関係は、それらの手法の拡張性と広範な適用性を制限しています。この制限を克服するために、我々はQualiCLIP（Quality-aware CLIP）というCLIPベースの自己監督型かつ意見非指向型アプローチを提案します。特に、我々は品質指向型の画像-テキスト対応戦略を導入し、CLIPが品質認識型の画像表現を生成するようにしています。 pristine画像から出発し、強度レベルを段階的に増加させながら合成的に劣化させます。次に、CLIPを品質に関連する反意語テキストプロンプトとの類似性に基づいてこれらの劣化画像を順位付けするように訓練します。同時に、同様のコンテンツと同一の劣化レベルを持つ画像に対して一貫した表現を生成させるようCLIPに強制します。我々の実験結果は、提案手法が多様な歪みタイプを持つ複数データセットにおいて既存の意見非指向型アプローチよりも優れていることを示しています。さらに、人間の注釈が不要であるにもかかわらず、QualiCLIPはクロスデータセット実験において監督型意見指向型手法に対して優れた性能を達成しており、その卓越した汎化能力を示しています。コードとモデルは公開されており、https://github.com/miccunifi/QualiCLIP からアクセスできます。