Eureka Bench Logs 評価ログは、Microsoft が 2024 年に公開した、大規模基盤モデルの評価ログを含むデータセットであり、関連する論文成果は「Eureka: Evaluating and Understanding Large Foundation Models」で、複雑なタスクにおける大規模基盤モデルの推論能力の深い理解と評価を提供することを目的としています。

このデータセットには、Eureka ML Insights フレームワークの実行ログが含まれており、さまざまなモデルファミリーと特定のモデルが各種ベンチマークテストで示した詳細なパフォーマンスが記録されています。 データはベンチマークテスト、モデルファミリー、モデル名ごとに整理されており、Phi-4-reasoning などのモデルの推論時間拡張に関する研究結果を網羅しています。 これらの情報は、研究者が画像からテキストへの変換などのタスクにおけるモデルの性能差と最適化の方向性を分析するのに役立ちます。

データセットの構成

• ベンチマークテスト (Benchmarks)：ログは特定の評価ベンチマークに従って分類され、画像からテキストへの変換などのマルチモーダルタスクを網羅しています。
• モデルファミリー (Model Families)：データはモデルファミリーごとにグループ化され、同じアーキテクチャ内の異なるモデルの進歩を比較しやすくしています。
• モデル名 (Model Names)：各ログエントリは特定のモデルインスタンスに対応し、詳細な推論および評価データを記録しています。

これらのログデータは、大規模基盤モデルの評価と理解に豊富な実証資料を提供します。