PokerBench ist ein Datensatz zur Bewertung von Pokerspielen, der 2025 von einem Forschungsteam der University of California, Berkeley und des Georgia Institute of Technology entwickelt wurde. Ziel ist es, die Leistung großer Sprachmodelle (LLMs) in komplexen, strategischen Pokerspielen zu bewerten. Die entsprechenden Ergebnisse der Studie sind „PokerBench: Training großer Sprachmodelle zum professionellen Pokerspieler". Der Datensatz enthält 11.000 Schlüsselszenarien, aufgeteilt in 1.000 Pre-Flop- und 10.000 Post-Flop-Szenarien, die ein breites Spektrum an Spielsituationen abdecken.

Der Datensatz wurde auf Grundlage spieltheoretisch optimaler (GTO) Pokerstrategien erstellt und in Zusammenarbeit mit professionellen Pokerspielern entwickelt, um seine Vielfalt und Repräsentativität sicherzustellen. Durch die Verwendung der Tools GTOWizard und WASM-Postflop stellt der Datensatz sicher, dass die Entscheidung für jedes Szenario mit der optimalen Strategie übereinstimmt. Darüber hinaus berücksichtigt der Aufbau des Datensatzes auch die komplexen Entscheidungsbäume bei Pokerspielen und gewährleistet durch Filter- und Bereinigungsstrategien die Vollständigkeit und Effizienz der Auswertung.

Mit diesem Datensatz können Forscher die Leistung des Modells bei Pokerspielen schnell bewerten, insbesondere in Bereichen wie mathematisches Denken, strategische Planung und Vorhersage des Verhaltens des Gegners.