HyperAIHyperAI

Command Palette

Search for a command to run...

Exploration de CLIP pour évaluer l’aspect et la sensation des images

Jianyi Wang Kelvin C.K. Chan Chen Change Loy

Résumé

Mesurer la perception du contenu visuel constitue un problème ancien en vision par ordinateur. De nombreux modèles mathématiques ont été développés pour évaluer l’apparence ou la qualité d’une image. Malgré l’efficacité de ces outils dans la quantification de dégradations telles que le bruit ou le flou, cette quantification reste faiblement liée au langage humain. Lorsqu’il s’agit de perceptions plus abstraites, relatives au « ressenti » d’un contenu visuel, les méthodes existantes ne peuvent compter que sur des modèles supervisés entraînés explicitement à partir de données étiquetées obtenues par des études utilisateur fastidieuses. Dans cet article, nous allons au-delà des paradigmes conventionnels en explorant le riche préalable linguistique visuel intégré dans les modèles de pré-entraînement contraste entre langage et image (Contrastive Language-Image Pre-training, CLIP) afin d’évaluer, de manière zero-shot, à la fois la perception de qualité (apparence) et la perception abstraite (ressenti) des images. Plus précisément, nous proposons des conceptions efficaces de prompts et présentons une stratégie efficace de couplage de prompts pour exploiter ce préalable. Nous fournissons également des expérimentations étendues sur des jeux de données contrôlés ainsi que sur des benchmarks d’évaluation de la qualité d’image (Image Quality Assessment, IQA). Nos résultats montrent que CLIP capture des préalables significatifs qui se généralisent bien à diverses évaluations perceptuelles. Le code est disponible à l’adresse suivante : https://github.com/IceClear/CLIP-IQA.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Exploration de CLIP pour évaluer l’aspect et la sensation des images | Articles | HyperAI