HyperAIHyperAI

Command Palette

Search for a command to run...

KI-Modelle reproduzieren weiterhin medizinische Stereotype

Eine aktuelle Studie der Flinders University belegt, dass neuere KI-Modelle mit erweiterten Reasoning-Fähigkeiten weiterhin gravierende rassische und geschlechtsspezifische Vorurteile in medizinischen Kontexten reproduzieren. Die Forschenden um Joshua Docking und Professor Michael Sorich haben die Modelle o3-mini und DeepSeek-R1 analysiert und dabei 36.000 generierte Patienten-Szenarien auf repräsentative Fairness überprüft. Die Ergebnisse, veröffentlicht im Journal of Medical Internet Research, zeigen, dass verbesserte logische Verarbeitung keine automatische Steigerung der Darstellungsgerechtigkeit zur Folge hat. Im Vergleich zu früheren Systemen wie GPT-4, das bei 67 Prozent der untersuchten Erkrankungen zu falschen Bevölkerungsgruppenzuordnungen neigte, schnitten die neuen Reasoning-Modelle nicht besser ab. o3-mini wies bei 78 Prozent der Fälle rassistische und bei 56 Prozent geschlechtsspezifische Fehlvorstellungen auf. DeepSeek-R1 übertraf sogar diese Werte mit 89 Prozent bei der Rassezugehörigkeit und 67 Prozent beim Geschlecht. Die qualitative Auswertung der Reasoning-Traces offenbarte, dass die Modelle bei der Auswahl von Patientendaten typisierte Krankheits- und Demografie-Assoziationen aufrufen, anstatt epidemiologische Häufigkeiten zu berücksichtigen. Besonders deutlich wurde dies bei der deutlichen Überrepräsentation schwarzer Patientengruppen in Erkrankungen wie Sarkoidose, systemischem Lupus erythematodes, Präeklampsie und essentieller Hypertonie. Die Abweichungen von realen Prävalenzzahlen betrugen im Median 44 Prozent bei o3-mini und 31 Prozent bei DeepSeek-R1, verglichen mit lediglich 15 Prozent bei der früheren GPT-4-Generation. Die Forschenden warnen, dass diese systematischen Verzerrungen klinische Entscheidungsprozesse verzerren könnten. Wenn KI-Systeme in Diagnostik und Behandlung integriert werden, aber nicht zwischen statistischen Trainingsmustern und repräsentativen Stichproben differenzieren, besteht die Gefahr, dass sich medizinische Stereotype in der Praxis verfestigen. Die Studie unterstreicht, dass technologische Fortschritte bei der Reasoning-Leistung nicht zwangsläufig ethische Dimensionen wie Fairness und Repräsentation verbessern. Für den sicheren Einsatz von Large Language Models im Gesundheitswesen fordern die Autorinnen und Autoren daher transparente Bias-Monitoring-Verfahren, kontinuierliche Audits und die Entwicklung von Korrekturmechanismen, die epidemiologische Realitäten vor typisierten Trainingsdaten priorisieren. Nur so lässt sich verhindern, dass KI-basierte klinische Workflows bestehende Gesundheitsdisparitäten verstärken, anstatt sie abzubauen.

Verwandte Links

KI-Modelle reproduzieren weiterhin medizinische Stereotype | Trending Stories | HyperAI