UNO-Bench est le premier banc d'essai d'évaluation multimodale unifié publié par l'équipe LongCat de Meituan en 2025. L'article associé s'intitule « UNO-Bench : un banc d’essai unifié pour explorer la loi de composition entre les modèles unimodaux et omnimodaux dans les modèles omniL'objectif est d'évaluer efficacement les capacités de compréhension unimodales et multimodales.

Cet ensemble de données contient 1 250 exemples multimodaux complets (avec une solvabilité intermodale de 98%) et 2 480 exemples unimodaux, couvrant 44 types de tâches et 5 combinaisons de modalités. Il inclut également un modèle de notation général permettant l’évaluation automatisée de 6 types de questions, offrant ainsi une norme d’évaluation unifiée pour les tâches multimodales. Les exemples multimodaux complets ont été soigneusement élaborés par des humains afin de refléter au mieux les applications réelles, et sont particulièrement adaptés au contexte chinois. Les exemples unimodaux complètent les dimensions cognitives et d’aptitudes fondamentales, rendant l’évaluation globale plus exhaustive.

Structures de données :

Les données sont stockées au format Parquet, et chaque échantillon contient des champs structurés :

• qid (identifiant de l'échantillon), nom_du_sous-ensemble (nom du sous-ensemble) ;
• question (question textuelle) et réponse (réponse standard) ;
• images / audios / vidéos (contenu multimodal, les chemins d'accès aux fichiers sont stockés sous forme de dictionnaire, null si absent) ;
• tâche (44 étiquettes de tâche), capacité (type de capacité), source (source de données), type_de_score (méthode de notation).