Typed Decisions est un jeu de données de référence pour la prise de décision probabiliste typée, publié par LocalLLaMA, conçu pour évaluer la capacité des modèles à répondre simultanément à plusieurs questions typées à partir d'informations d'état non structurées et à produire les distributions de probabilité correspondantes, en mettant l'accent sur l'exactitude des décisions et la performance de calibration probabiliste des modèles.

Ce jeu de données est construit autour de quatre scénarios métier : surveillance de l'exécution des agents, service client, traitement des factures et réponse aux incidents de sécurité. Il comprend au total 1,600 cas synthétiques, dont 1,200 pour l'ensemble d'entraînement et 400 pour l'ensemble de test. Chaque cas se compose d'une information d'état et de cinq questions typées ; l'ensemble de test porte au total sur 2,000 décisions. Le jeu de données utilise trois types de décision : noul, choice et score, prenant en charge respectivement le jugement de probabilité vrai/faux, les distributions de probabilité sur plusieurs options et les distributions de scores ordonnées. Il fournit également des distributions de probabilité de référence ainsi que des champs auxiliaires associés, permettant d'évaluer les capacités de décision structurée et de prédiction probabiliste des modèles dans différents scénarios métier.

Composition du jeu de données

• Types de flux de travail : comprennent quatre scénarios métier : surveillance de l'exécution des agents (agent_trace_observability), service client (customer_service), traitement des factures (invoice_processing) et réponse aux incidents de sécurité (security_incidents) ;
• Champs d'entrée : state et questions constituent conjointement l'entrée du modèle ; les critères textuels de sélection des options sont enregistrés dans le champ criteria ;
• Champs de référence : gold conserve la distribution de référence complète ; __label, __probabilities, __score et __probability_true fournissent les résultats aplatis correspondants ;
• Champs auxiliaires : factors et label_agreement enregistrent respectivement les facteurs de génération des cas et la cohérence des annotations ; ils ne sont pas utilisés comme entrée du modèle ;
• Types de décision : comprennent noul, choice et score, utilisés respectivement pour prédire la probabilité qu'une affirmation soit vraie, la distribution de probabilité sur plusieurs options, ainsi que la distribution de probabilité des niveaux de score ordonnés et le score attendu.