Typed Decisions ist ein von LocalLLaMA veröffentlichter Benchmark-Datensatz für typisierte probabilistische Entscheidungen. Er zielt darauf ab, die Fähigkeit von Modellen zu bewerten, auf Grundlage unstrukturierter Zustandsinformationen mehrere typisierte Fragen gleichzeitig zu beantworten und die entsprechenden Wahrscheinlichkeitsverteilungen auszugeben, mit Schwerpunkt auf der Entscheidungsgenauigkeit und der Kalibrierungsleistung der Modelle.

Der Datensatz wurde rund um vier Geschäftsszenarien aufgebaut: Agenten-Laufzeitüberwachung, Kundenservice, Rechnungsstellung und Reaktion auf Sicherheitsvorfälle. Er enthält insgesamt 1.600 synthetische Fälle, darunter 1.200 Trainingsfälle und 400 Testfälle. Jeder Fall besteht aus einer Zustandsinformation und fünf typisierten Fragen. Der Testdatensatz umfasst insgesamt 2.000 Entscheidungen. Der Datensatz verwendet drei Entscheidungstypen: noul, choice und score, die jeweils die Bestimmung der Wahrscheinlichkeit für wahr/falsch, Wahrscheinlichkeitsverteilungen über mehrere Optionen und Verteilungen geordneter Bewertungen unterstützen. Zudem stellt er Gold-Standard-Wahrscheinlichkeitsverteilungen sowie zugehörige Hilfsfelder bereit, die zur Bewertung der Fähigkeit von Modellen eingesetzt werden können, in verschiedenen Geschäftsszenarien strukturierte Entscheidungen zu treffen und Wahrscheinlichkeiten vorherzusagen.

Zusammensetzung des Datensatzes

• Workflow-Typen: umfasst vier Geschäftsszenarien: Agenten-Laufzeitüberwachung (agent_trace_observability), Kundenservice (customer_service), Rechnungsstellung (invoice_processing) und Reaktion auf Sicherheitsvorfälle (security_incidents);
• Eingabefelder: state und questions bilden gemeinsam die Modelleingabe; die textlichen Bewertungskriterien für die Optionen werden im Feld criteria gespeichert;
• Gold-Standard-Felder: gold speichert die vollständige Gold-Standard-Verteilung; __label, __probabilities, __score und __probability_true liefern die entsprechenden flachen Ergebnisse;
• Hilfsfelder: factors und label_agreement protokollieren die Faktoren zur Fallgenerierung bzw. die Übereinstimmung der Beschriftungen und dienen nicht als Modelleingabe;
• Entscheidungstypen: umfasst noul, choice und score, die jeweils zur Vorhersage der Wahrscheinlichkeit, dass eine Aussage wahr ist, der Wahrscheinlichkeitsverteilung über mehrere Optionen sowie der Wahrscheinlichkeitsverteilung geordneter Bewertungsskalen und des erwarteten Scores verwendet werden.