Eureka Bench Logs Journal d'évaluation est un ensemble de données publié par Microsoft en 2024, contenant des journaux d'évaluation de grands modèles de base. Les résultats de la recherche associée sont présentés dans l'article « Eureka: Evaluating and Understanding Large Foundation Models », dans le but de fournir une compréhension approfondie et une évaluation des capacités de raisonnement des grands modèles de base dans des tâches complexes.

Cet ensemble de données contient les journaux d'exécution issus du framework Eureka ML Insights, enregistrant les performances détaillées de différentes familles de modèles et de modèles spécifiques sur divers tests de référence. Les données sont organisées par test de référence, famille de modèles et nom de modèle, couvrant les résultats de la recherche sur l'extension du temps de raisonnement de modèles tels que Phi-4-reasoning. Ces informations aident les chercheurs à analyser les différences de performance des modèles sur des tâches telles que l'image vers le texte et à identifier les axes d'optimisation.

Composition de l'ensemble de données

• Tests de référence (Benchmarks) : Les journaux sont classés selon des critères d'évaluation spécifiques, couvrant des tâches multimodales telles que l'image vers le texte.
• Familles de modèles (Model Families) : Les données sont regroupées par famille de modèles, facilitant la comparaison des progrès entre différents modèles d'une même architecture.
• Noms de modèles (Model Names) : Chaque entrée de journal correspond à une instance spécifique d'un modèle, enregistrant des données détaillées de raisonnement et d'évaluation.

Ces données de journaux fournissent des matériaux empiriques riches pour évaluer et comprendre les grands modèles de base.