PokerBench ポーカー ゲーム評価データセット

PokerBench は、カリフォルニア大学バークレー校とジョージア工科大学の研究チームによって 2025 年に開発されたポーカー ゲーム評価データ セットで、複雑で戦略的なポーカー ゲームにおける大規模言語モデル (LLM) のパフォーマンスを評価するように設計されています。 .」の関連論文検索結果。PokerBench: 大規模な言語モデルをトレーニングしてプロのポーカー プレーヤーになる”。データセットには 11,000 の主要なシナリオが含まれており、1,000 のプリフロップ シナリオと 10,000 のポストフロップ シナリオに分かれており、幅広いゲーム状況をカバーしています。

このデータセットは、Game Theoretic Optimal (GTO) ポーカー戦略に基づいて作成され、その多様性と代表性を確保するためにプロのポーカー プレーヤーと協力して開発されました。 GTOWizard および WASM-Postflop ツールを使用することにより、データセットは各シナリオの決定が最適な戦略に沿っていることを保証します。さらに、データセットはポーカー ゲームの複雑なデシジョン ツリーを考慮して構築されており、フィルタリングおよびプルーニング戦略を通じて包括的かつ効率的な評価が保証されています。

このデータセットを通じて、研究者はポーカー ゲームにおけるモデルのパフォーマンス、特に数学的推論、戦略計画、対戦相手の行動の予測における能力を迅速に評価できます。