Agentic KI-Systeme gewinnen in der medizinischen Anwendung zunehmend an Bedeutung, insbesondere da sie auf großen Sprachmodellen (LLMs) basieren und somit den Aufbau von maßgeschneiderten Modellen oder mehrfachen Fine-Tuning-Runden überflüssig machen. Laut einer Analyse von NeurIPS 2025 entfielen etwa 20–25 % der Arbeiten auf agente-basierte Ansätze, darunter LLM-gestützte Workflows, retrieval-augmentierte Systeme und mehrschrittige Entscheidungsframeworks, die heterogene Daten verarbeiten, schrittweise argumentieren und kontextuelle Empfehlungen liefern. Allerdings produzieren diese Systeme meist binäre Ausgaben – wie „Ja, der Patient hat die Erkrankung“ – anstatt kontinuierlicher Wahrscheinlichkeiten, was ein zentrales Problem mit der gängigen Bewertung in der Medizin darstellt. Denn hier ist das AUC (Area Under the Curve) der Standard, um die Trennschärfe von Risikomodellen zu messen, insbesondere bei unbalancierten Datensätzen wie bei der Krebsvorsorge, wo die Prävalenz niedrig ist. Eine rein binäre Ausgabe führt zu einer Degeneration der ROC-Kurve, da nur zwei mögliche Scores existieren, was AUC entweder unmöglich oder sinnlos macht. Dies schafft eine kritische Diskrepanz: Agente liefern Entscheidungen, aber die Evaluationsmetrik verlangt kontinuierliche Risikoscores. Um AUC für agente-basierte Systeme nutzbar zu machen, müssen kontinuierliche Scores aus den Entscheidungen abgeleitet werden. Dazu gibt es mehrere praktikable Ansätze: Erstens können interne Log-Probabilites des Modells ausgewertet werden, die eine stabile und rationale Rangordnung liefern – besonders dann, wenn Zugriff auf die Ausgabeschicht besteht. Zweitens kann das Modell explizit dazu angehalten werden, eine Wahrscheinlichkeit zu nennen, was einfach umzusetzen ist, aber oft zu unkalibrierten, pseudo-binären Werten führt, es sei denn, man nutzt präzise Prompt-Beispiele. Drittens ermöglicht Monte-Carlo-Sampling durch wiederholte Ausführungen eine Schätzung der Entscheidungsunsicherheit, ist aber rechenintensiv. Viertens lassen sich Retrieval-Ähnlichkeitswerte – etwa zwischen einem Patienten und vorherigen positiven Fällen – in Risikoscores umwandeln. Fünftens kann ein kleines Kalibrierungsmodell auf den strukturierten Ausgaben (z. B. „niedrig, mittel, hoch“) trainiert werden, um kontinuierliche Scores zu generieren. Sechstens kann ein einstellbarer Parameter im Agenten (z. B. Konservativität) variiert werden, um eine annähernde ROC-Kurve zu erzeugen, auch wenn der Agent selbst binär arbeitet. Die Einführung solcher Methoden ist entscheidend, um agente-basierte Systeme objektiv und vergleichbar mit etablierten Modellen zu evaluieren. Ohne AUC-ähnliche Metriken bleibt die Leistungsfähigkeit dieser Systeme schwer zu quantifizieren, was die Akzeptanz in klinischen und wissenschaftlichen Kontexten behindert. Indem man die interne Logik der Agenten in kontinuierliche Risikoscores übersetzt, bleibt die Bewertung konsistent mit den Standards der medizinischen Forschung – und ermöglicht eine fundierte Diskussion über echte Verbesserungen gegenüber bestehenden Ansätzen. Branchenexperten betonen, dass die Integration von AUC in agente-basierte Systeme nicht nur eine technische Herausforderung, sondern eine notwendige Voraussetzung für klinische Einführung ist. Unternehmen wie Google Health, DeepMind und startups wie PathAI arbeiten bereits an solchen Kalibrierungslösungen, um ihre KI-Systeme in realen klinischen Abläufen validieren zu können. Die Fähigkeit, AUC zu liefern, wird künftig ein entscheidender Wettbewerbsfaktor sein – nicht nur für wissenschaftliche Publikationen, sondern auch für Zulassungen durch Regulierungsbehörden wie die FDA.