GDPval-AA v2.1

GDPval-AA v2.1은 OpenAI의 GDPval 데이터셋을 위한 평가 프레임워크입니다. 44개 직업과 9개 주요 산업에 걸친 실제 과제로 AI 모델을 시험합니다. 모델에는 셸 접근 권한과 웹 브라우징 기능이 주어지며 Stirrup을 통한 에이전트 루프로 과제를 해결하고, Elo 평가는 블라인드 쌍대 비교로 산출됩니다.