Typed Decisions는 LocalLLaMA에서 공개한 타입 기반 확률 의사결정 벤치마크 데이터셋으로, 모델이 비정형 상태 정보를 바탕으로 여러 개의 타입화된 질문에 동시에 답변하고 이에 해당하는 확률 분포를 출력하는 능력을 평가하며, 모델의 의사결정 정확도와 확률 캘리브레이션 성능에 초점을 맞춥니다.

해당 데이터셋은 에이전트 실행 모니터링, 고객 서비스, 청구서 처리, 보안 사건 대응의 네 가지 비즈니스 시나리오를 중심으로 구축되었으며, 총 1,600개의 합성 사례를 포함하고 그중 훈련 세트 1,200개, 테스트 세트 400개로 구성됩니다. 각 사례는 상태 정보 하나와 타입화된 질문 다섯 개로 이루어지며, 테스트 세트에서는 총 2,000개의 의사결정이 포함됩니다. 데이터셋은 noul, choice, score의 세 가지 의사결정 유형을 사용하며, 각각 참/거짓 확률 판단, 다중 선택지 확률 분포, 순서형 점수 분포를 지원하고, 골든 표준 확률 분포 및 관련 보조 필드를 제공하여 모델이 다양한 비즈니스 시나리오에서 구조화된 의사결정과 확률 예측을 얼마나 수행하는지 평가하는 데 활용할 수 있습니다.

데이터셋 구성

• 워크플로 유형: 에이전트 실행 모니터링(agent_trace_observability), 고객 서비스(customer_service), 청구서 처리(invoice_processing), 보안 사건 대응(security_incidents)의 네 가지 비즈니스 시나리오 포함;
• 입력 필드: state와 questions가 함께 모델 입력을 구성하며, 선택지 텍스트의 판단 기준은 criteria 필드에 저장됩니다;
• 골든 표준 필드: gold는 전체 골든 표준 분포를 저장하며, __label, __probabilities, __score, __probability_true는 이에 해당하는 평탄화된 결과를 제공합니다;
• 보조 필드: factors와 label_agreement는 각각 사례 생성 요인과 라벨링 일관성을 기록하며 모델 입력으로 사용되지 않습니다;
• 의사결정 유형: noul, choice, score를 포함하며, 각각 명제가 참일 확률, 여러 선택지에 대한 확률 분포, 순서형 점수 등급의 확률 분포와 기대 점수를 예측하는 데 사용됩니다.