HyperAIHyperAI

Command Palette

Search for a command to run...

il y a 20 jours

UNO-Bench : une base unifiée pour explorer la loi de composition entre les modèles unimodaux et omni-modaux dans les modèles omni

Chen Chen ZeYang Hu Fengjiao Chen Liya Ma Jiaxing Liu Xiaoyu Li Ziwen Wang Xuezhi Cao Xunliang Cai

UNO-Bench : une base unifiée pour explorer la loi de composition entre les modèles unimodaux et omni-modaux dans les modèles omni

Résumé

Les modèles de langage à grande échelle multimodaux évoluent progressivement de la compréhension unimodale vers une intégration des modalités visuelle, auditive et linguistique, regroupées sous le terme d’omni-modèles. Toutefois, la corrélation entre les performances unimodales et omni-modales reste encore floue, ce qui rend nécessaire une évaluation approfondie pour stimuler l’évolution de l’intelligence des omni-modèles. Dans ce travail, nous introduisons UNO-Bench, un nouveau benchmark de haute qualité, unifié et dédié aux omni-modèles. Ce benchmark est conçu pour évaluer efficacement à la fois les capacités unimodales et omni-modales dans un cadre taxonomique d’aptitudes unifié, couvrant 44 types de tâches et 5 combinaisons de modalités. Il comprend 1 250 échantillons humainement curatifs pour les tâches omni-modales, avec un taux de résolution intermodale de 98 %, ainsi que 2 480 échantillons unimodaux améliorés. Le jeu de données généré par des humains est particulièrement adapté aux scénarios du monde réel, notamment dans le contexte chinois, tandis que le jeu de données automatiquement compressé permet une accélération de 90 % tout en conservant une cohérence de 98 % sur 18 benchmarks publics. En plus des questions à choix multiples classiques, nous proposons un format innovant de questions ouvertes à plusieurs étapes afin d’évaluer le raisonnement complexe. Un modèle de notation généralisé est intégré, permettant une évaluation automatisée pour 6 types de questions avec une précision de 95 %. Les résultats expérimentaux révèlent une loi de composition entre les performances omni-modales et unimodales : la capacité omni-modale agit comme un goulot d’étranglement pour les modèles faibles, tout en exerçant une synergie stimulante sur les modèles forts.

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
UNO-Bench : une base unifiée pour explorer la loi de composition entre les modèles unimodaux et omni-modaux dans les modèles omni | Articles de recherche | HyperAI