Eureka Bench Logs 评测日志 ist ein von Microsoft im Jahr 2024 veröffentlichtes Datenset, das Bewertungsprotokolle großer Basismodelle enthält. Die zugehörige Forschungsarbeit ist „Eureka: Evaluating and Understanding Large Foundation Models" und zielt darauf ab, ein tiefgreifendes Verständnis und eine Bewertung der Denkfähigkeiten großer Basismodelle bei komplexen Aufgaben zu ermöglichen.

Das Datenset enthält Laufprotokolle aus dem Eureka ML Insights Framework und dokumentiert die detaillierte Leistung verschiedener Modellfamilien und spezifischer Modelle in verschiedenen Benchmark-Tests. Die Daten sind nach Benchmarks, Modellfamilien und Modellnamen organisiert und umfassen Forschungsergebnisse zur Skalierung der Denkzeit von Modellen wie Phi-4-reasoning. Diese Informationen helfen Forschern, Leistungsunterschiede und Optimierungsrichtungen von Modellen bei Aufgaben wie Bild-zu-Text zu analysieren.

Zusammensetzung des Datensets

• Benchmarks: Die Protokolle werden nach spezifischen Bewertungs-Benchmarks kategorisiert und decken multimodale Aufgaben wie Bild-zu-Text ab.
• Modellfamilien: Die Daten werden nach Modellfamilien gruppiert, was den Vergleich der Fortschritte verschiedener Modelle innerhalb derselben Architektur erleichtert.
• Modellnamen: Jeder Protokolleintrag entspricht einer spezifischen Modellinstanz und dokumentiert detaillierte Denk- und Bewertungsdaten.

Diese Protokolldaten bieten reichhaltiges empirisches Material für die Bewertung und das Verständnis großer Basismodelle.