HyperAI
Command Palette
Search for a command to run...
LLM-Evaluierungen
Benchmarks zur Bewertung großer Sprachmodelle, mit der Anzahl der abgedeckten Modelle und deren Bewertung
43 Evaluierungen
| Evaluierung | Modelle | Median-Strich und Punkt für Bestwert | Median |
|---|---|---|---|
| AA-Briefcase v1.1 15% Gewicht | 152 | 1186 | |
| AA-Omniscience v1.1 Allgemein · 15% Gewicht | 102 | 7.1 | |
| FrontierCode-AA 2.0 Programmierung · 15% Gewicht | 107 | 20.2% | |
| Terminal-Bench-Science 0.1 15% Gewicht | 109 | 7.6% | |
| CritPt v2 10% Gewicht | 110 | 33.5% | |
| HLE-Diamond Allgemein · 10% Gewicht | 133 | 17.3% | |
| Terminal-Bench 4.0 Programmierung · 10% Gewicht | 147 | 11.1% | |
| AutomationBench-AA 5% Gewicht | 150 | 46.0% | |
| GDP.pdf 5% Gewicht | 148 | 13.2% |
| Evaluierung | Modelle | Median-Strich und Punkt für Bestwert | Median |
|---|---|---|---|
| Humanity's Last Exam Ein Benchmark auf Frontier-Niveau mit 2.500 von Experten geprüften Fragen aus Mathematik, Naturwissenschaften und Geisteswissenschaften, konzipiert als abschließende geschlossene akademische Evaluierung. | 267 | 12.0% | |
| CritPt Ein Benchmark zur Prüfung von LLMs bei physikalischen Denkaufgaben auf Forschungsniveau mit 71 zusammengesetzten Forschungsherausforderungen. | 265 | 0.3% | |
| AA-LCR v1.1: Long Context Reasoning Ein anspruchsvoller Benchmark, der die Fähigkeit von Sprachmodellen misst, Informationen aus langen Dokumenten von 10k bis 100k Token (gemessen mit dem cl100k_base-Tokenizer) zu extrahieren, über sie zu schlussfolgern und sie zu synthetisieren. | 259 | 61.3% | |
| GPQA Diamond Die 198 anspruchsvollsten Fragen aus GPQA, bei denen promovierte Fachleute 65 % Genauigkeit erreichen, fähige Nicht-Fachleute jedoch trotz Webzugang nur 34 %. | 205 | 71.3% | |
| GDPval-AA v2.1 GDPval-AA v2.1 ist ein Evaluierungsframework für den GDPval-Datensatz von OpenAI. Es prüft KI-Modelle an realen Aufgaben aus 44 Berufen und 9 großen Branchen. Modelle erhalten Shell-Zugriff und Webbrowsing-Fähigkeiten in einer agentischen Schleife über Stirrup, um Aufgaben zu lösen; die Elo-Bewertungen stammen aus blinden paarweisen Vergleichen. | 172 | 1109 | |
| IFBench Ein Benchmark zur Bewertung der Generalisierung präziser Anweisungsbefolgung anhand von 58 vielfältigen, verifizierbaren domänenfremden Einschränkungen, die die Fähigkeit von Modellen prüfen, spezifische Ausgabeanforderungen zu erfüllen. | 150 | 43.0% | |
| Terminal-Bench Hard Ein agentischer Benchmark zur Bewertung von KI-Fähigkeiten in Terminalumgebungen anhand von Aufgaben aus Softwareentwicklung, Systemadministration und Datenverarbeitung. | 147 | 6.8% | |
| 𝜏²-Bench Telecom Ein konversationeller KI-Benchmark mit dualer Steuerung, der technische Support-Szenarien simuliert, in denen Agent und Nutzer ihre Aktionen koordinieren müssen, um Probleme im Telekommunikationsservice zu lösen. | 147 | 36.3% | |
| SciCode Ein von Wissenschaftlern kuratierter Coding-Benchmark mit 288 Teilaufgaben des Testsatzes aus 80 Laboraufgaben in 16 wissenschaftlichen Disziplinen. | 142 | 48.7% | |
| MMMU-Pro Ein erweitertes MMMU-Benchmark, das Abkürzungen und Rateverfahren eliminiert, um multimodale Modelle in 30 akademischen Disziplinen strenger zu prüfen. | 126 | 70.8% | |
| Terminal-Bench 2.1 Eine verifizierte Aktualisierung von Terminal-Bench 2.0: 89 kuratierte Aufgaben aus Softwareentwicklung, Systemadministration, Datenverarbeitung, Modelltraining und Sicherheit, mit Korrekturen an Umgebung und Anweisungen, damit die Ergebnisse die Fähigkeiten der Agenten und nicht Umgebungslücken widerspiegeln. | 114 | 38.6% | |
| MLCR-AA: Medical Long Context Reasoning Ein offener Benchmark von Wisedocs, der misst, wie gut Modelle über lange, fragmentierte medizinische Unterlagen schlussfolgern und dabei die Multi-Dokument-Synthese leisten, auf die Fachleute bei der Prüfung von Versicherungs- und Gesundheitsfällen angewiesen sind. | 96 | 15.8% | |
| 𝜏³-Banking Ein Fintech-Kundensupport-Benchmark aus dem 𝜏-Knowledge-Framework, der prüft, ob Agenten eine große unstrukturierte Wissensbasis durchdringen und mehrstufige Tool-Aufrufe ausführen können, um realistische Banking-Abläufe zu lösen. | 89 | 17.5% | |
| MMLU-Pro Eine erweiterte Version von MMLU mit 12.000 Fragen auf Hochschulniveau aus 14 Fachbereichen, mit zehn Antwortoptionen und höheren Anforderungen an das Schlussfolgern. | 83 | 74.2% | |
| LiveCodeBench Ein kontaminationsfreier Coding-Benchmark, der kontinuierlich neue Wettbewerbsprogrammieraufgaben von LeetCode, AtCoder und CodeForces sammelt und Codegenerierung, Selbstreparatur und Ausführung bewertet. | 82 | 47.2% | |
| AIME 2025 Alle 30 Aufgaben der American Invitational Mathematics Examination 2025, die mathematisches Denken auf Olympiade-Niveau mit ganzzahligen Antworten von 000-999 prüfen. | 78 | 51.3% | |
| FrontierCode 1.1 Eine Implementierung von FrontierCode 1.1 von Cognition, eines privaten agentischen Coding-Benchmarks, der Modelle darin prüft, Coding-Aufgaben so zu lösen, dass sie von Maintainern realer Repositories tatsächlich zusammengeführt würden. | 75 | 38.8% | |
| Global-MMLU-Lite Eine leichtgewichtige, mehrsprachige Version von MMLU zur Bewertung von Wissen und Denkfähigkeiten über eine vielfältige Bandbreite von Sprachen und kulturellen Kontexten. | 39 | 78.6% | |
| Harvey LAB-AA v1.1 Eine Implementierung des Legal Agent Benchmark (LAB) von Harvey, der KI-Agenten an realer juristischer Arbeit aus Harveys Datensatz mit 120 privaten Aufgaben aus 24 Rechtsgebieten prüft. v1.1, in Zusammenarbeit mit Harvey entwickelt, prüft jedes Ergebnis gegen die Quelldokumente der Aufgabe auf Halluzinationen, sodass Arbeit, die alle Rubrikkriterien erfüllt, aber eine wesentliche Halluzination enthält, keine Wertung erhält. Ein Gremium aus drei Juroren bewertet jedes Ergebnis Kriterium für Kriterium. | 27 | 2.8% | |
| AA-AnalystAgent Ein Datenanalyse-Benchmark, der KI-Agenten darin prüft, mit Tabellen und Dokumenten quantitative Fragen zu beantworten, die einem Business Analyst oder Data Analyst im Alltag begegnen. | 26 | 40.0% | |
| EnterpriseOps-Gym-AA Eine unabhängige Implementierung von EnterpriseOps-Gym von ServiceNow, eines agentischen Benchmarks, der prüft, ob LLM-Agenten zustandsbehaftete, mehrstufige Unternehmensabläufe in acht Geschäftsbereichen über Live-Tool-Nutzung abschließen können; bewertet wird der Endzustand der zugrunde liegenden Datenbanken. | 23 | 40.2% | |
| MATH-500 Eine Teilmenge von 500 Aufgaben aus dem MATH-Datensatz mit Mathematik auf Wettbewerbsniveau aus sechs Bereichen, darunter Algebra, Geometrie und Zahlentheorie. | 23 | 81.0% | |
| Code2Video-AA Eine Implementierung des Code2Video Bench von HeyGen, der bewertet, wie gut Modelle aus 114 Design-Briefings kurze Produkt- und Markenvideos mit HyperFrames HTML erstellen. | 22 | 1025 | |
| Multimodal Knowledge Agent (MKA) Eine Implementierung des Multimodal Knowledge Agent (MKA)-Benchmarks von Google DeepMind, der prüft, ob Agenten visuell dichte Projektdateien wie Architekturzeichnungen, technische Schemata und klinische Scans lesen und die von Fachleuten erwarteten Ergebnisse erstellen können. | 21 | 41.0% | |
| VIALS-AA Eine Implementierung des VIALS-Benchmarks von Handshake AI, der prüft, ob Sprachmodelle wissenschaftliche Bilder interpretieren und Fragen zu den darin enthaltenen Belegen beantworten können. | 21 | 45.3% | |
| AA-3D: Interactive 3D Experience Ein Benchmark dafür, wie gut KI-Modelle interaktive 3D-Erlebnisse erstellen. Modelle arbeiten als Agenten in einer Offline-Sandbox über Stirrup, um ein schriftliches Briefing in eine three.js-Szene umzusetzen; die Elo-Bewertungen stammen aus blinden paarweisen Abstimmungen. | 20 | 995 | |
| CWE-Bench-AA Eine Implementierung des CWE-bench von Collinear AI, eines defensiven Cybersicherheits-Benchmarks, der prüft, ob Coding-Agenten eine echte Open-Source-Codebasis auditieren, eine Schwachstelle in einem beschriebenen Problembereich finden und sie patchen können, ohne legitimes Verhalten zu beeinträchtigen. | 19 | 55.8% | |
| CyberGym-E2E-AA Eine Implementierung von CyberGym-E2E des Berkeley RDI, eines defensiven Cybersicherheits-Benchmarks, der Agenten beim Finden echter Speichersicherheits-Schwachstellen in C/C++-Open-Source-Projekten, deren Reproduktion mit Proof-of-Concept-Eingaben und deren Behebung ohne Bruch der Projekttests prüft. | 19 | 71.8% | |
| DeepsecBench-AA Eine Implementierung von DeepsecBench von Vercel, eines defensiven Cybersicherheits-Benchmarks, der prüft, wie gut Agenten Schwachstellen in echtem Open-Source-Anwendungscode finden. | 19 | 19.9% | |
| HealthBench HealthBench von OpenAI: 5.000 Gesundheitsgespräche, bewertet anhand von von Ärzten verfassten Rubriken, von Notfallüberweisungen bis zur globalen Gesundheit. | 15 | 58.5% | |
| HealthBench Professional HealthBench Professional von OpenAI: 525 Klinikergespräche zu Beratungs-, Schreib- und Rechercheaufgaben, bewertet anhand von von Ärzten verfassten Rubriken. | 15 | 63.0% | |
| ITBench-AA Eine Implementierung des ITBench-Benchmarks von IBM, der KI-Agenten bei der Ursachenanalyse von Kubernetes-Vorfällen anhand von Offline-Vorfallaufnahmen prüft. Der Agent untersucht Warnungen, Ereignisse, Traces und Topologie und identifiziert die beitragenden Entitäten (Deployments, Pods, Namespaces, Netzwerkrichtlinien usw.), die für den Ausfall verantwortlich sind. | 14 | 39.2% | |
| APEX-Agents-AA Eine Implementierung des APEX-Agents-Benchmarks, der KI-Agenten bei langfristigen, anwendungsübergreifenden Aufgaben in Umgebungen professioneller Dienstleistungen mit realistischen Anwendungswerkzeugen prüft. | 9 | 27.4% |