HyperAIHyperAI

Command Palette

Search for a command to run...

COREVQA : Un benchmark de réponse aux questions visuelles par observation et raisonnement de foule

Ishant Chintapatla Kazuma Choji Naaisha Agarwal Andrew Lin Hannah You Charles Duong et al

Résumé

Récemment, de nombreux benchmarks et jeux de données ont été développés afin d'évaluer les modèles vision-langage (VLM) à l'aide de paires de questions-réponses visuelles (VQA), au cours desquels les modèles ont montré des améliorations significatives en termes de précision. Toutefois, ces benchmarks testent rarement la capacité du modèle à accomplir correctement des inférences visuelles, par exemple en acceptant ou en réfutant une hypothèse fondée sur une image. Afin de pallier ce manque, nous proposons COREVQA (Crowd Observations and Reasoning Entailment), un benchmark comprenant 5 608 paires d’images et d’énoncés vrais/faux générés de manière synthétique, les images étant extraites du jeu de données CrowdHuman, afin d’inciter le raisonnement d’inférence visuelle sur des images complexes et surchargées. Nos résultats montrent que même les VLM les plus performants atteignent une précision inférieure à 80 %, tandis que d’autres modèles obtiennent des performances nettement plus faibles (entre 39,98 % et 69,95 %). Ce large écart de performance met en évidence des limites clés dans la capacité des VLM à raisonner sur certains types de paires image-question dans des scènes surpeuplées.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
COREVQA : Un benchmark de réponse aux questions visuelles par observation et raisonnement de foule | Articles | HyperAI