Typed Decisions は LocalLLaMA が公開した型付き確率的意思決定ベンチマークデータセットで、モデルが非構造化状態情報に基づいて複数の型付き質問に同時に回答し、対応する確率分布を出力する能力を評価することを目的とし、モデルの意思決定精度と確率キャリブレーション性能に重点を置いている。

本データセットは、エージェント実行監視、カスタマーサービス、請求書処理、セキュリティインシデント対応の4つのビジネスシナリオを中心に構築されており、合計1,600件の合成ケースを含みます。そのうち訓練セットは1,200件、テストセットは400件です。各ケースは1つの状態情報と5つの型付き質問で構成され、テストセットには合計2,000件の意思決定が含まれます。データセットは noul、choice、score の3つの意思決定タイプを採用しており、それぞれ真偽確率判断、複数選択肢の確率分布、順序付きスコア分布に対応します。また、ゴールドスタンダードの確率分布および関連する補助フィールドを提供し、異なるビジネスシナリオにおけるモデルの構造化意思決定と確率予測能力の評価に使用できます。

データセットの構成

• ワークフロータイプ：エージェント実行監視（agent_trace_observability）、カスタマーサービス（customer_service）、請求書処理（invoice_processing）、セキュリティインシデント対応（security_incidents）の4つのビジネスシナリオを含みます；
• 入力フィールド：state と questions がモデル入力を構成し、選択肢の文言による判断基準は criteria フィールドに保存されます；
• ゴールドスタンダードフィールド：gold は完全なゴールドスタンダード分布を保存し、__label、__probabilities、__score、__probability_true は対応するフラット化結果を提供します；
• 補助フィールド：factors と label_agreement はそれぞれケース生成要因とアノテーションの一致度を記録し、モデル入力には使用されません；
• 意思決定タイプ：noul、choice、score を含み、それぞれ主張が真である確率の予測、複数選択肢の確率分布、順序付き評価レベルの確率分布と期待スコアの予測に使用されます。