Alignement Image-Texte Prenant en Compte la Qualité pour l’Évaluation de la Qualité des Images sans Connaissance d’Opinion

L'évaluation de la qualité d'image sans référence (NR-IQA) se concentre sur la conception de méthodes permettant de mesurer la qualité des images en accord avec la perception humaine lorsque l'on n'a pas accès à une image de référence de haute qualité. La plupart des approches actuelles en NR-IQA sont sensibles aux opinions, c'est-à-dire qu'elles nécessitent des annotations humaines pour l'entraînement. Cette dépendance limite leur évolutivité et leur applicabilité générale. Pour surmonter cette limitation, nous proposons QualiCLIP (Quality-aware CLIP), une approche auto-supervisée basée sur CLIP qui ne requiert pas d'opinions humaines.Plus précisément, nous introduisons une stratégie d'alignement image-texte sensible à la qualité afin que CLIP génère des représentations d'images qui prennent en compte cette qualité. Partant d'images intactes, nous les dégradons synthétiquement avec des niveaux croissants d'intensité. Ensuite, nous entraînons CLIP pour classer ces images dégradées en fonction de leur similarité avec des prompts textuels antonymes liés à la qualité. Parallèlement, nous forçons CLIP à générer des représentations cohérentes pour les images ayant un contenu similaire et le même niveau de dégradation.Nos expériences montrent que la méthode proposée surpassent les approches existantes sans opinion sur plusieurs jeux de données comportant divers types de distorsions. De plus, malgré l'absence d'annotations humaines, QualiCLIP obtient d'excellents résultats par rapport aux méthodes supervisées sensibles aux opinions dans les expériences inter-jeux de données, démontrant ainsi des capacités généralisatrices remarquables. Le code et le modèle sont librement accessibles sur https://github.com/miccunifi/QualiCLIP.