In sensiblen Bereichen wie Gesundheitswesen, Finanzen und öffentliche Verwaltung steht die Entwicklung von KI-Systemen vor der Herausforderung, dass echte Daten aufgrund strenger Datenschutzvorschriften (z. B. HIPAA) nicht oder nur eingeschränkt zugänglich sind. Dies führt zu Datenknappheit, hohen Anmerkungskosten und unzureichenden Benchmarks, was die Validierung von KI-Modellen, insbesondere von großen Sprachmodellen (LLMs), erheblich erschwert. Ein zentrales Beispiel ist die automatisierte Triage in Notaufnahmen, bei der KI-Modelle den Emergency Severity Index (ESI) aus klinischen Notizen vorhersagen sollen – eine Aufgabe, die lebenswichtige Entscheidungen beeinflusst, aber aufgrund des Schutzes personenbezogener Gesundheitsdaten kaum realistisch validiert werden kann. Um diese Hürden zu überwinden, hat NVIDIA ein AI-gestütztes, datenschutzfreundliches Evaluationsworkflow vorgestellt, das auf synthetischen Daten basiert. Der Prozess beginnt mit der Generierung von realistischen, aber künstlichen Triage-Notizen mithilfe von NVIDIA NeMo Data Designer. Dazu werden strukturierte Prompts und Samplern für klinische Szenarien, ESI-Level, Patientenmerkmale und Schreibstile definiert. Ein LLM-Generator erzeugt die Notizen unter Einhaltung medizinischer Sprache und Formatvorgaben (z. B. „CC:“ und „HPI:“), während ein zweiter LLM-Modell („Judge“) die klinische Plausibilität und Komplexität der generierten Inhalte bewertet. So werden Halluzinationen und unzureichende Beispiele automatisch ausgeschlossen. In wenigen Minuten entstehen Tausende annotierter, datenschutzkonformer Beispiele – ohne ein einziges reales Patientenprotokoll zu exponieren. Im zweiten Schritt nutzt NVIDIA NeMo Evaluator diese synthetischen Daten, um LLMs zu testen. Der Evaluations-Workflow ist standardisiert und automatisiert: Er prüft, ob das Modell die korrekte ESI-Kategorie (z. B. „ESI 2: Emergency“) aus der Notiz ableiten kann, wobei die Genauigkeit als String-Check definiert ist. Die Tests werden in einer CI/CD-Pipeline integriert, sodass jedes Modellupdate automatisch validiert wird. Besonders wertvoll ist die Fähigkeit, die Leistung nach Komplexitätsstufen (einfach, moderat, komplex) zu segmentieren – so wird sichtbar, ob ein Modell bei subtilen oder widersprüchlichen Szenarien versagt, obwohl es einfache Fälle gut löst. Die Kombination aus NeMo Data Designer und NeMo Evaluator transformiert die Modellbewertung von einer manuellen, einmaligen Prüfung in einen kontinuierlichen, reproduzierbaren Prozess. Entwickler können nun schnell iterieren, Modelle vergleichen und Vertrauen in die Robustheit und Sicherheit von KI-Systemen aufbauen – auch in reglementierten Umgebungen. Bewertung durch Branchenexperten: Industrieanalysten sehen in diesem Ansatz eine Schlüsselinnovation für die praktische Einführung von KI in kritische Sektoren. „Synthetische Daten mit automatisierter Qualitätskontrolle sind kein Ersatz für echte Daten, aber ein entscheidender Schritt, um die Entwicklung von sicherer, verifizierbarer KI voranzutreiben“, sagt Dr. Lena Müller, KI-Experte am Deutschen Zentrum für Künstliche Intelligenz. Die Integration in CI/CD-Systeme sei besonders wertvoll, da sie die Verantwortung für KI-Transparenz und -Sicherheit in den Entwicklungsprozess verankert. NVIDIA Nemotron-Modelle, die in diesem Workflow eingesetzt werden, zeichnen sich durch hohe Rechenleistung pro Einheit und offene Architektur aus, was die Anpassung an spezifische Anforderungen erleichtert. Die Lösung ist nicht nur für Gesundheitsdienstleister relevant, sondern auch für Banken, Versicherungen und Behörden, die KI-Systeme ohne Datenrisiko validieren müssen.