GDPval-AA v2.1

GDPval-AA v2.1は、OpenAIのGDPvalデータセット向けの評価フレームワーク。44の職種と9つの主要産業にわたる現実のタスクでAIモデルをテストする。モデルにはシェルアクセスとWebブラウジング機能が与えられ、Stirrupを介したエージェントループでタスクを解く。Eloレーティングはブラインドのペア比較から導出される。