HyperAI
Command Palette
Search for a command to run...
Évaluations de LLM
Benchmarks qui évaluent les grands modèles de langage, indiquant le nombre de modèles couverts et leur méthode d'évaluation
43 évaluations
| Évaluation | Modèles | Repère de la médiane et point du meilleur score | Médiane |
|---|---|---|---|
| AA-Briefcase v1.1 15% poids | 152 | 1186 | |
| AA-Omniscience v1.1 Général · 15% poids | 102 | 7.1 | |
| FrontierCode-AA 2.0 Code · 15% poids | 107 | 20.2% | |
| Terminal-Bench-Science 0.1 15% poids | 109 | 7.6% | |
| CritPt v2 10% poids | 110 | 33.5% | |
| HLE-Diamond Général · 10% poids | 133 | 17.3% | |
| Terminal-Bench 4.0 Code · 10% poids | 147 | 11.1% | |
| AutomationBench-AA 5% poids | 150 | 46.0% | |
| GDP.pdf 5% poids | 148 | 13.2% |
| Évaluation | Modèles | Repère de la médiane et point du meilleur score | Médiane |
|---|---|---|---|
| Humanity's Last Exam Un benchmark de niveau frontière avec 2 500 questions validées par des experts en mathématiques, sciences et sciences humaines, conçu pour être l'évaluation académique finale à questions fermées. | 267 | 12.0% | |
| CritPt Un benchmark conçu pour évaluer les LLM sur des tâches de raisonnement physique de niveau recherche, comprenant 71 défis de recherche composites. | 265 | 0.3% | |
| AA-LCR v1.1: Long Context Reasoning Un benchmark exigeant mesurant la capacité des modèles de langage à extraire, raisonner et synthétiser des informations à partir de documents longs allant de 10k à 100k tokens (mesurés avec le tokenizer cl100k_base). | 259 | 61.3% | |
| GPQA Diamond Les 198 questions les plus difficiles de GPQA, où des experts titulaires d'un doctorat atteignent 65 % de précision, tandis que des non-experts qualifiés n'atteignent que 34 % malgré l'accès au web. | 205 | 71.3% | |
| GDPval-AA v2.1 GDPval-AA v2.1 est un cadre d'évaluation pour le jeu de données GDPval d'OpenAI. Il évalue les modèles d'IA sur des tâches réelles dans 44 métiers et 9 grands secteurs. Les modèles disposent d'un accès shell et de capacités de navigation web dans une boucle agentique via Stirrup pour résoudre les tâches, avec des classements Elo dérivés de comparaisons par paires en aveugle. | 172 | 1109 | |
| IFBench Un benchmark qui évalue la généralisation du suivi précis d'instructions sur 58 contraintes diverses et vérifiables hors domaine, lesquelles testent la capacité des modèles à respecter des exigences de sortie spécifiques. | 150 | 43.0% | |
| Terminal-Bench Hard Un benchmark agentique qui évalue les capacités de l'IA dans des environnements de terminal via des tâches d'ingénierie logicielle, d'administration système et de traitement de données. | 147 | 6.8% | |
| 𝜏²-Bench Telecom Un benchmark d'IA conversationnelle à double contrôle qui simule des scénarios de support technique où l'agent et l'utilisateur doivent coordonner leurs actions pour résoudre des problèmes de services de télécommunications. | 147 | 36.3% | |
| SciCode Un benchmark de codage supervisé par des scientifiques, comprenant 288 sous-problèmes de l'ensemble de test issus de 80 problèmes de laboratoire dans 16 disciplines scientifiques. | 142 | 48.7% | |
| MMMU-Pro Un benchmark MMMU amélioré qui élimine les raccourcis et les stratégies de devinette afin de tester plus rigoureusement les modèles multimodaux dans 30 disciplines universitaires. | 126 | 70.8% | |
| Terminal-Bench 2.1 Une actualisation vérifiée de Terminal-Bench 2.0 : 89 tâches sélectionnées couvrant l'ingénierie logicielle, l'administration système, le traitement de données, l'entraînement de modèles et la sécurité, avec des corrections d'environnement et d'instructions afin que les scores reflètent la capacité des agents plutôt que des lacunes d'environnement. | 114 | 38.6% | |
| MLCR-AA: Medical Long Context Reasoning Un benchmark ouvert de Wisedocs qui mesure la capacité des modèles à raisonner sur des dossiers médicaux longs et fragmentés, en réalisant la synthèse multi-documents sur laquelle s'appuient les professionnels des demandes lors de l'examen de dossiers d'assurance et de santé. | 96 | 15.8% | |
| 𝜏³-Banking Un benchmark de support client fintech issu du framework 𝜏-Knowledge, qui évalue si les agents peuvent naviguer dans une grande base de connaissances non structurée et exécuter des appels d'outils en plusieurs étapes pour résoudre des workflows bancaires réalistes. | 89 | 17.5% | |
| MMLU-Pro Une version améliorée de MMLU avec 12 000 questions de niveau master réparties sur 14 domaines, proposant dix options de réponse et des exigences de raisonnement plus poussées. | 83 | 74.2% | |
| LiveCodeBench Un benchmark de codage sans contamination qui collecte en continu de nouveaux problèmes de programmation compétitive sur LeetCode, AtCoder et CodeForces, en évaluant la génération de code, l'auto-réparation et l'exécution. | 82 | 47.2% | |
| AIME 2025 Les 30 problèmes de l'American Invitational Mathematics Examination 2025, qui évaluent le raisonnement mathématique de niveau olympiade avec des réponses entières de 000 à 999. | 78 | 51.3% | |
| FrontierCode 1.1 Une implémentation de FrontierCode 1.1 de Cognition, un benchmark privé de codage agentique qui évalue les modèles sur l'exécution de tâches de codage d'une manière qui serait réellement fusionnée par les mainteneurs de dépôts réels. | 75 | 38.8% | |
| Global-MMLU-Lite Une version légère et multilingue de MMLU, conçue pour évaluer les compétences en connaissances et en raisonnement dans un large éventail de langues et de contextes culturels. | 39 | 78.6% | |
| Harvey LAB-AA v1.1 Une implémentation du Legal Agent Benchmark (LAB) de Harvey, qui évalue les agents d'IA sur des travaux juridiques réels issus du jeu de données de Harvey comprenant 120 tâches privées couvrant 24 domaines de pratique juridique. La v1.1, développée en collaboration avec Harvey, vérifie chaque livrable par rapport aux documents sources de la tâche afin de détecter les hallucinations : un travail qui satisfait tous les critères de la grille mais contient une hallucination substantielle n'obtient aucun crédit. Un panel de trois juges note chaque livrable critère par critère. | 27 | 2.8% | |
| AA-AnalystAgent Un benchmark d'analyse de données, qui évalue la capacité des agents d'IA à travailler avec des tableurs et des documents pour répondre à des questions quantitatives auxquelles un analyste métier ou un analyste de données ferait face au quotidien. | 26 | 40.0% | |
| EnterpriseOps-Gym-AA Une implémentation indépendante d'EnterpriseOps-Gym de ServiceNow, un benchmark agentique qui évalue si les agents LLM peuvent mener à bien des workflows d'entreprise avec état et en plusieurs étapes dans huit domaines métier via l'utilisation d'outils en direct, noté sur l'état final des bases de données sous-jacentes. | 23 | 40.2% | |
| MATH-500 Un sous-ensemble de 500 problèmes du jeu de données MATH, présentant des mathématiques de niveau concours dans six domaines dont l'algèbre, la géométrie et la théorie des nombres. | 23 | 81.0% | |
| Code2Video-AA Une implémentation de Code2Video Bench de HeyGen, qui évalue la capacité des modèles à créer de courtes vidéos de produit et de marque à partir de 114 briefs de design en utilisant HyperFrames HTML. | 22 | 1025 | |
| Multimodal Knowledge Agent (MKA) Une implémentation du benchmark Multimodal Knowledge Agent (MKA) de Google DeepMind, qui évalue si les agents peuvent lire des fichiers de projet à forte densité visuelle, comme des plans d'architecture, des schémas d'ingénierie et des images cliniques, et produire les livrables attendus d'un professionnel. | 21 | 41.0% | |
| VIALS-AA Une implémentation du benchmark VIALS de Handshake AI, qui évalue si les modèles de langage peuvent interpréter des images scientifiques et répondre à des questions sur les preuves qu'elles contiennent. | 21 | 45.3% | |
| AA-3D: Interactive 3D Experience Un benchmark évaluant la capacité des modèles d'IA à créer des expériences 3D interactives. Les modèles agissent comme des agents dans un bac à sable hors ligne via Stirrup pour transformer un brief écrit en scène three.js, avec des classements Elo dérivés de votes par paires en aveugle. | 20 | 995 | |
| CWE-Bench-AA Une implémentation de CWE-bench de Collinear AI, un benchmark de cybersécurité défensive qui évalue si les agents de codage peuvent auditer une base de code open source réelle, trouver une vulnérabilité dans une zone de préoccupation décrite et la corriger sans altérer le comportement légitime. | 19 | 55.8% | |
| CyberGym-E2E-AA Une implémentation de CyberGym-E2E du Berkeley RDI, un benchmark de cybersécurité défensive qui évalue les agents sur la recherche de vulnérabilités réelles de sécurité mémoire dans des projets open source C/C++, leur reproduction avec des entrées de preuve de concept et leur correction sans casser les tests des projets. | 19 | 71.8% | |
| DeepsecBench-AA Une implémentation de DeepsecBench de Vercel, un benchmark de cybersécurité défensive qui évalue la capacité des agents à trouver des vulnérabilités dans du code applicatif open source réel. | 19 | 19.9% | |
| HealthBench HealthBench d'OpenAI : 5 000 conversations de santé notées selon des grilles rédigées par des médecins, des orientations d'urgence à la santé mondiale. | 15 | 58.5% | |
| HealthBench Professional HealthBench Professional d'OpenAI : 525 conversations de cliniciens couvrant des tâches de consultation, de rédaction et de recherche, notées selon des grilles rédigées par des médecins. | 15 | 63.0% | |
| ITBench-AA Une implémentation du benchmark ITBench d'IBM, qui évalue les agents d'IA sur l'analyse de la cause racine d'incidents Kubernetes à partir d'instantanés d'incidents hors ligne. L'agent examine les alertes, événements, traces et la topologie, puis identifie les entités contributrices (déploiements, pods, namespaces, politiques réseau, etc.) responsables de la défaillance. | 14 | 39.2% | |
| APEX-Agents-AA Une implémentation du benchmark APEX-Agents, qui évalue les agents d'IA sur des tâches inter-applications de longue durée dans des environnements de services professionnels dotés d'outils applicatifs réalistes. | 9 | 27.4% |