PokerBench 포커 게임 평가 데이터 세트

PokerBench는 캘리포니아 대학교 버클리와 조지아 공과대학교의 연구팀이 2025년에 개발한 포커 게임 평가 데이터 세트입니다. 복잡하고 전략적인 포커 게임에서 대규모 언어 모델(LLM)의 성능을 평가하는 것을 목표로 합니다. 관련 논문 결과는 "PokerBench: 프로 포커 플레이어가 되기 위한 대규모 언어 모델 훈련". 이 데이터 세트에는 1만 1천 개의 주요 시나리오가 포함되어 있으며, 이는 1천 개의 프리플랍 시나리오와 1만 개의 포스트플랍 시나리오로 나뉘며, 다양한 게임 상황을 포괄합니다.

이 데이터 세트는 게임 이론적 최적(GTO) 포커 전략을 기반으로 만들어졌으며, 다양성과 대표성을 보장하기 위해 프로 포커 플레이어와 협력하여 개발되었습니다. GTOWizard와 WASM-Postflop 도구를 사용하면 데이터 세트에서 각 시나리오에 대한 결정이 최적의 전략과 일관성을 유지하는지 확인할 수 있습니다. 또한, 데이터 세트를 구성할 때 포커 게임의 복잡한 의사결정 트리도 고려하고, 필터링 및 가지치기 전략을 통해 평가의 포괄성과 효율성을 보장합니다.

이 데이터 세트를 사용하면 연구자들은 포커 게임에서 모델의 성능을 빠르게 평가할 수 있으며, 특히 수학적 추론, 전략적 계획, 상대의 행동 예측 등의 분야에서 성능이 향상됩니다.