Eureka Bench Logs 평가 로그는 Microsoft가 2024년에 발표한 대규모 기반 모델 평가 로그를 포함하는 데이터셋으로, 관련 논문 성과는 「Eureka: Evaluating and Understanding Large Foundation Models」이며, 복잡한 작업에서 대규모 기반 모델의 추론 능력에 대한 심층적인 이해와 평가를 제공하는 것을 목표로 합니다.

이 데이터셋은 Eureka ML Insights 프레임워크의 실행 로그를 포함하며, 다양한 모델 패밀리와 특정 모델이 여러 벤치마크 테스트에서 보여준 상세한 성능을 기록합니다. 데이터는 벤치마크, 모델 패밀리 및 모델 이름별로 구성되어 있으며, Phi-4-reasoning과 같은 모델의 추론 시간 확장 연구 결과를 포함합니다. 이 정보는 연구자들이 이미지-텍스트와 같은 작업에서 모델의 성능 차이와 최적화 방향을 분석하는 데 도움이 됩니다.

데이터셋 구성

• 벤치마크 (Benchmarks): 로그는 특정 평가 벤치마크별로 분류되며, 이미지-텍스트와 같은 다중 모달 작업을 포함합니다.
• 모델 패밀리 (Model Families): 데이터는 모델 패밀리별로 그룹화되어, 동일한 아키텍처 내에서 서로 다른 모델의 발전을 비교하기 쉽습니다.
• 모델 이름 (Model Names): 각 로그 항목은 특정 모델 인스턴스에 해당하며, 상세한 추론 및 평가 데이터를 기록합니다.

이 로그 데이터는 대규모 기반 모델을 평가하고 이해하는 데 풍부한 실증 자료를 제공합니다.