Eureka Bench Logs 評価ログは、Microsoft が 2024 年に公開した、大規模基盤モデルの評価ログを含むデータセットです。関連する論文は「Eureka: Evaluating and Understanding Large Foundation Models」であり、複雑なタスクにおける大規模基盤モデルの推論能力に対する深い理解と評価を提供することを目的としています。

このデータセットには、Eureka ML Insights フレームワークからの実行ログが含まれており、異なるモデルファミリーや具体的なモデルが各種ベンチマークテストで示した詳細なパフォーマンスが記録されています。 データはベンチマーク、モデルファミリー、モデル名に基づいて整理されており、Phi-4-reasoning などのモデルにおける推論時間スケーリングの研究結果もカバーしています。 これらの情報は、研究者が画像からテキストへの変換などのタスクにおけるモデルのパフォーマンス差や最適化の方向性を分析するのに役立ちます。

データセットの構成

• ベンチマーク (Benchmarks)：ログは具体的な評価ベンチマークごとに分類されており、画像からテキストへの変換など多モーダルタスクを網羅しています。
• モデルファミリー (Model Families)：データはモデルファミリーごとにグループ化されており、同一アーキテクチャ下での異なるモデルの進歩を比較しやすくなっています。
• モデル名 (Model Names)：各ログエントリは具体的なモデルインスタンスに対応し、詳細な推論および評価データを記録しています。

これらのログデータは、大規模基盤モデルの評価と理解のための豊富な実証資料を提供します。