Eine aktuelle Studie der Universität des Baskenlandes in Spanien belegt, dass medizinisches Fachpersonal bei der Nutzung automatisierter KI-Tools ein erhebliches Risiko der unkritischen Übernahme von Algorithmus-Empfehlungen eingeht. Die Ergebnisse wurden im Journal PLOS Digital Health veröffentlicht und basieren auf Experimenten mit 223 anonymen Teilnehmern aus dem Arztberuf. In klinischen Simulationen bewerteten die Mediziner KI-gestützte Klassifizierungssysteme bei der Entscheidung über Behandlungen für eine hypothetische seltene Erkrankung. Den Ärzten wurden Patientendaten vorgelegt, die auf Grundlage von KI-Vorhersagen über den potenziellen Therapieerfolg trafen. Anschließend erhielten sie tatsächliche Genesungsdaten, um die Zuverlässigkeit der Systeme einzuschätzen. Die Auswertung zeigt ein fundamentales Problem der menschlichen Algorithmen-Interaktion: Trotz klarer widersprüchlicher Evidenz aus den Patientendaten bewerteten die Ärzte die KI-Empfehlungen weiterhin als zuverlässig. In einem Szenario war die Behandlung für alle Patienten durchschnittlich wirksam, in einem anderen vollständig ineffektiv. In beiden Fällen ließen sich die Kliniker nicht von den konträren Genesungsdaten von der falschen KI-Einschätzung abbringen. Die Forschenden stellen fest, dass selbst bei offensichtlicher Wirkungslosigkeit einer Therapie die Mediziner die Fehler der KI nicht korrigierten. Die Studie unterstreicht erhebliche Herausforderungen für die Integration automatisierter Entscheidungshilfen in die Gesundheitsversorgung. KI-Systeme dienen primär als Entscheidungsunterstützung, deren Unvollkommenheit eine aktive Überprüfung durch das medizinische Personal erfordert. Die aktuelle Forschung demonstriert jedoch, dass Ärzte Schwierigkeiten haben, aus direkten Feedbackschleifen zu lernen, wenn diese den Algorithmus-Vorschlägen widersprechen. Dies verstärkt die Gefahr einer unbegründeten Algorithmus-Autorität im klinischen Alltag. Zur Minimierung solcher Risiken plädieren die Autoren um Erstautorin Aranzazu Vinas, Koautorin Helena Matute und Fernando Blanco für die Entwicklung gezielter Protokolle und Schulungsprogramme. Ziel ist die Stärkung des kritischen klinischen Urteilsvermögens und die Sicherstellung wirksamer menschlicher Aufsicht. Nur durch strukturelle Maßnahmen zur Fehlererkennung in der Mensch-KI-Kollaboration lässt sich das Potenzial automatisierter Klassifizierungstools sicher ausschöpfen und gleichzeitig das Risiko fehlerbasierter Behandlungsentscheidungen eindämmen. Die Ergebnisse liefern einen wichtigen Ansatzpunkt für die künftige Gesundheitspolitik und die Weiterentwicklung von KI-Tools mit Fokus auf robuste Human-in-the-Loop-Mechanismen.