Command Palette
Search for a command to run...
Dr. Bias: Soziale Ungleichheiten in künstlich-intelligenten medizinischen Empfehlungssystemen
Emma Kondrup Anne Imouza

Abstract
Mit dem rasanten Fortschritt von Großsprachmodellen (Large Language Models, LLMs) hat die breite Öffentlichkeit nun einfachen und kostengünstigen Zugang zu Anwendungen erhalten, die die meisten gesundheitsbezogenen Fragen auf personalisierte Weise beantworten können. Diese LLMs erweisen sich zunehmend als wettbewerbsfähig – in einigen medizinischen Bereichen übertreffen sie sogar Fachkräfte. Besonders groß ist ihr Potenzial in ressourcenarmen Kontexten, da sie die Möglichkeit bieten, weitgehend zugängliche, quasi-kostenlose medizinische Unterstützung bereitzustellen. Doch die Bewertungen, die diese Erwartungen befeuern, verfügen über erhebliche Lücken hinsichtlich der sozialen Dimension der Gesundheitsversorgung: Sie ignorieren bestehende gesundheitliche Ungleichheiten zwischen sozialen Gruppen sowie die Gefahr, dass Bias in die medizinischen Empfehlungen durch LLMs übertragen und letztlich die Nutzer beeinträchtigen kann. Wir präsentieren eine explorative Analyse der Antworten von LLMs auf eine Reihe medizinischer Fragen aus zentralen klinischen Domänen, wobei wir simulieren, dass diese Fragen von mehreren Patientenprofilen mit unterschiedlichen Merkmalen – Geschlecht, Altersgruppe und Ethnizität – gestellt werden. Durch den Vergleich sprachlicher Merkmale der generierten Antworten zeigen wir, dass LLMs bei der Erstellung medizinischer Empfehlungen systematisch unterschiedliche Antworten für verschiedene soziale Gruppen liefern. Insbesondere erhalten indigene und intersexuelle Patient:innen Empfehlungen, die weniger verständlich und komplexer sind. Diese Unterschiede verstärken sich, wenn man sich auf intersektionale Gruppen konzentriert. Angesichts der zunehmenden Vertrauenswürdigkeit, die Individuen diesen Modellen entgegenbringen, fordern wir eine höhere künstliche Intelligenz-Überzeugung (AI-Literacy) sowie dringend erforderliche Untersuchungen und Maßnahmen seitens der Entwickler von KI-Systemen, um diese systemischen Unterschiede zu verringern und sicherzustellen, dass sie nicht zu ungleicher oder ungerechter Patientenunterstützung führen. Unser Quellcode ist öffentlich auf GitHub verfügbar.
KI mit KI entwickeln
Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.