ProfBench는 NVIDIA가 2025년에 출시한 다중 영역 전문 작업 평가용 데이터셋으로, 관련 논문은 "ProfBench: Multi-Domain Rubrics requiring Professional Knowledge to Answer and Judge"입니다. 이 데이터셋은 대규모 언어 모델(LLM)의 전문 분야 성능을 평가하기 위한 표준 벤치마크를 연구자 및 개발자에게 제공하는 것을 목표로 합니다.

이 데이터셋은 화학 박사, 물리학 박사, 금융 MBA 및 경영 컨설팅과 같은 전문 분야를 다루는 40개의 인간이 라벨링한 작업으로 구성된 40개의 레코드를 포함합니다.

데이터셋 구성

• ID: 샘플 식별자
• Domain: 영역 분류 (화학 박사, 물리학 박사, 금융 MBA, 컨설팅 MBA 포함)
• Prompt: 대규모 언어 모델에 대한 지시 사항
• Rubrics: 모델의 최종 출력을 평가하기 위한 고유한 기준 (15~59개)
• Model Responses: OpenAI o3, xAI Grok4, DeepSeek R1-0528의 세 가지 모델 응답

인용

@misc{wang2025profbenchmultidomainrubricsrequiring,
      title={ProfBench: Multi-Domain Rubrics requiring Professional Knowledge to Answer and Judge}, 
      author={Zhilin Wang and Jaehun Jung and Ximing Lu and Shizhe Diao and Ellie Evans and Jiaqi Zeng and Pavlo Molchanov and Yejin Choi and Jan Kautz and Yi Dong},
      year={2025},
      eprint={2510.18941},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2510.18941}, 
}