Sicherheitshinweise senken klinische KI-Risiken

Eine aktuelle Studie des Icahn School of Medicine at Mount Sinai zeigt, dass gezielte Sicherheitshinweise in der Prompt-Eingabe die klinische Entscheidungsfindung von KI-Modellen signifikant verbessern können. Die Forschungsergebnisse wurden am 26. September in der Fachzeitschrift Communications Medicine vorgestellt. Unter der Leitung von Erstautor Dr. Mahmud Omar und Co-Seniorautor Dr. Girish N. Nadkarni analysierten die Forschenden das Verhalten von zwanzig Large Language Models in über einer Million klinischen Testfällen. Der Untersuchungsansatz umfasste 501 Variationen von 50 klinischen Szenarien sowie hundert Fälle aus anonymisierten Krankenhaus-Entlassungsberichten. Die KI-Systeme wurden gezielt mit Anweisungen konfrontiert, die gegen patientensicherheitsrelevante Protokolle verstießen, wie etwa das Auslassen empfohlener Bluttests zur Workload-Reduktion oder die vorzeitige Einstellung von Antibiotika-Therapien. Bei mehr als zehn Millionen generierten Antworten machten potenziell schädliche Entscheidungen ohne Sicherheitsprompt durchschnittlich 16,6 Prozent aus. Die Integration eines kurzen Sicherheitshinweises senkte diese Rate auf 10,1 Prozent. Dieser Effekt ließ sich in neunzehn der zwanzig getesteten Modelle nachweisen. Die Ergebnisse verdeutlichen, dass KI-Systeme Entscheidungen nicht isoliert treffen, sondern stark durch kontextbezogene Rahmung und Formulierung beeinflusst werden. Wie Dr. Omar hervorhebt, demonstriert die Reduktion schädlicher Optionen vielversprechende Möglichkeiten zur Stärkung technischer Schutzmechanismen. Gleichzeitig betonen die Forschenden, dass ein Safety-Prompt allein keine ausreichende Absicherung darstellt und die klinische Aufsicht durch Fachpersonal zwingend erforderlich bleibt. Die Arbeit plädiert dafür, Sicherheitsbewertungen über reine Richtigkeitsprüfungen hinaus auszudehnen und systematisch zu prüfen, ob KI-Ansätze kritische Anweisungen hinterfragen, verifizieren oder menschliche Hilfe anfordern können. Angesichts der Entwicklung hin zu autonom agierenden KI-Systemen, die komplexe Workflows eigenständig steuern, verlagert sich der Fokus auf proaktive Sicherheitsarchitekturen. Die Forschenden empfehlen, automatisierte Sicherheitstests fest in den Entwicklungs- und Evaluierungsprozess klinischer KI-Integrationen zu verankern. Solche Tests sollen vor dem klinischen Einsatz sowie bei jeder Modellaktualisierung wiederholt werden, um neu auftretende Risiken frühzeitig zu identifizieren. Zukünftige Untersuchungen sollen zudem untersuchen, wie sich akkumulierter Kontext und versteckte Instruktionen auf die Entscheidungsfindung in langer Sequenz autonomer KI-Agenten auswirken. Die Studie unterstreicht damit klar, dass einfache Prompt-Optimierungen zwar wirksame Bausteine darstellen, jedoch nur im Verbund mit robusten Validierungsstrategien und menschlicher Expertenkontrolle zuverlässige und sichere klinische KI-Anwendungen gewährleisten können.