HyperAIHyperAI

Command Palette

Search for a command to run...

Alignement Image-Texte Prenant en Compte la Qualité pour l’Évaluation de la Qualité des Images sans Connaissance d’Opinion

Agnolucci Lorenzo ; Galteri Leonardo ; Bertini Marco

Résumé

L'évaluation de la qualité d'image sans référence (NR-IQA) se concentre sur la conception de méthodes permettant de mesurer la qualité des images en accord avec la perception humaine lorsque l'on n'a pas accès à une image de référence de haute qualité. La plupart des approches actuelles en NR-IQA sont sensibles aux opinions, c'est-à-dire qu'elles nécessitent des annotations humaines pour l'entraînement. Cette dépendance limite leur évolutivité et leur applicabilité générale. Pour surmonter cette limitation, nous proposons QualiCLIP (Quality-aware CLIP), une approche auto-supervisée basée sur CLIP qui ne requiert pas d'opinions humaines.Plus précisément, nous introduisons une stratégie d'alignement image-texte sensible à la qualité afin que CLIP génère des représentations d'images qui prennent en compte cette qualité. Partant d'images intactes, nous les dégradons synthétiquement avec des niveaux croissants d'intensité. Ensuite, nous entraînons CLIP pour classer ces images dégradées en fonction de leur similarité avec des prompts textuels antonymes liés à la qualité. Parallèlement, nous forçons CLIP à générer des représentations cohérentes pour les images ayant un contenu similaire et le même niveau de dégradation.Nos expériences montrent que la méthode proposée surpassent les approches existantes sans opinion sur plusieurs jeux de données comportant divers types de distorsions. De plus, malgré l'absence d'annotations humaines, QualiCLIP obtient d'excellents résultats par rapport aux méthodes supervisées sensibles aux opinions dans les expériences inter-jeux de données, démontrant ainsi des capacités généralisatrices remarquables. Le code et le modèle sont librement accessibles sur https://github.com/miccunifi/QualiCLIP.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Alignement Image-Texte Prenant en Compte la Qualité pour l’Évaluation de la Qualité des Images sans Connaissance d’Opinion | Articles | HyperAI