Typed Decisions 是由 LocalLLaMA 发布的一个类型化概率决策基准数据集，旨在评测模型根据非结构化状态信息同时回答多个类型化问题，并输出相应概率分布的能力，重点关注模型的决策准确性与概率校准表现。

该数据集围绕智能体运行监控、客户服务、账单处理和安全事件响应四类业务场景构建，共包含 1,600 条合成案例，其中训练集 1,200 条、测试集 400 条。每个案例由一份状态信息和五个类型化问题组成，测试集共涉及 2,000 个决策。数据集采用 noul、choice 和 score 三种决策类型，分别支持真假概率判断、多选项概率分布和有序评分分布，并提供金标准概率分布及相关辅助字段，可用于评估模型在不同业务场景下的结构化决策与概率预测能力。

数据集组成

• 工作流类型：包括智能体运行监控（agent_trace_observability）、客户服务（customer_service）、账单处理（invoice_processing）和安全事件响应（security_incidents）四类业务场景；
• 输入字段：state 和 questions 共同构成模型输入，选项的文字判断标准保存在 criteria 字段中；
• 金标准字段：gold 保存完整的金标准分布；__label、__probabilities、__score 和 __probability_true 提供对应的扁平化结果；
• 辅助字段：factors 和 label_agreement 分别记录案例生成因素与标注一致性，不作为模型输入；
• 决策类型：包括 noul、choice 和 score，分别用于预测陈述为真的概率、多个选项的概率分布，以及有序评分等级的概率分布和期望分数。