Eureka Bench Logs – Evaluierungsprotokolle sind ein von Microsoft im Jahr 2024 veröffentlichter Datensatz mit umfangreichen Evaluierungsprotokollen großer Basismodelle. Die zugehörige Publikation lautet:Eureka: Evaluating and Understanding Large Foundation Models“, um ein tiefes Verständnis und eine Bewertung der推理fähigkeiten großer Basismodelle bei komplexen Aufgaben zu ermöglichen.

Der Datensatz enthält Ausführungsprotokolle aus dem Eureka-ML-Insights-Framework, die die detaillierten Leistungen verschiedener Modellfamilien und spezifischer Modelle in verschiedenen Benchmark-Tests dokumentieren. Die Daten sind nach Benchmark-Tests, Modellfamilien und Modellnamen organisiert und umfassen Forschungsergebnisse zur Skalierung der推理zeit bei Modellen wie Phi-4-reasoning. Diese Informationen unterstützen Forscher bei der Analyse von Leistungsunterschieden und Optimierungsmöglichkeiten der Modelle bei Aufgaben wie Bild-zu-Text.

Zusammensetzung des Datensatzes

• Benchmark-Tests (Benchmarks): Die Protokolle sind nach konkreten Bewertungsbenchmarks klassifiziert und decken multimodale Aufgaben wie Bild-zu-Text ab.
• Modellfamilien (Model Families): Die Daten sind nach Modellfamilien gruppiert, um den Vergleich der Fortschritte verschiedener Modelle innerhalb derselben Architektur zu erleichtern.
• Modellnamen (Model Names): Jeder Protokolleintrag entspricht einer konkreten Modellinstanz und erfasst detaillierte推理- und Bewertungsdaten.

Diese Protokoll-Daten bieten reichhaltiges empirisches Material zur Bewertung und zum Verständnis großer Basismodelle.