Google hat einige künstliche Intelligenz (KI)-basierte Gesundheitszusammenfassungen aus seinen Suchergebnissen entfernt, nachdem eine interne Untersuchung gravierende Fehler in den Erkenntnissen aufgedeckt hatte. Die betroffenen AI Overviews, die in der Google-Suche automatisch generiert werden, enthielten falsche Informationen zu Leberwerten, die von medizinischen Fachleuten als „beunruhigend“ und potenziell gefährlich eingestuft wurden. Insbesondere wurden fiktive oder ungenaue Werte für Leberenzymwerte wie ALT (Alanin-Aminotransferase) und AST (Aspartat-Aminotransferase) angegeben, was zu falschen Schlussfolgerungen über die Leberfunktion führen konnte. In einigen Fällen wurden sogar fiktive Diagnosen wie Leberzirrhose oder Leberentzündung ohne medizinische Grundlage generiert. Die Fehler traten auf, weil die KI-Modelle, die die Inhalte erstellten, auf unzureichend validierten oder ungenauen Quellen basierten und nicht ausreichend auf medizinische Fakten prüften. Experten kritisierten, dass solche falschen Informationen bei Nutzern, die auf Suchergebnisse vertrauen, zu unnötiger Angst, falschen Selbstdiagnosen oder verzögerten medizinischen Behandlungen führen könnten. Die betroffenen Suchanfragen beinhalteten typische Fragen wie „Was bedeuten erhöhte Leberwerte?“ oder „Kann ein erhöhter ALT-Wert auf Leberzirrhose hindeuten?“, die von Nutzern häufig genutzt werden, um sich medizinische Informationen zu holen. Google reagierte prompt, nachdem die Mängel intern erkannt wurden. Die betroffenen KI-Zusammenfassungen wurden umgehend deaktiviert, und die Firma kündigte an, die KI-Modelle für medizinische Inhalte stärker zu überwachen und die Quellen, auf die sie basieren, sorgfältiger zu prüfen. Zudem wird die KI-Generierung in sensiblen Bereichen wie Gesundheit künftig mit zusätzlichen Sicherheitsmechanismen wie medizinischem Experten-Review und klarer Kennzeichnung von KI-Beiträgen versehen. Google betont, dass es die Verantwortung übernimmt, vertrauenswürdige und präzise Informationen bereitzustellen, insbesondere in kritischen Bereichen wie der Gesundheitsversorgung. Die Vorfälle werfen erneut die Frage auf, wie sicher KI-Systeme in sensiblen Anwendungen eingesetzt werden können, ohne dass es zu schädlichen Fehlern kommt. Medizinische Fachleute und KI-Experten warnen, dass automatisierte Systeme, die auf unvollständigen oder fehlerhaften Daten trainiert sind, potenziell schädlich wirken können, wenn sie nicht ausreichend überwacht werden. Die Vorfälle unterstreichen die Notwendigkeit, KI-Modelle in kritischen Kontexten mit menschlicher Aufsicht und medizinischem Fachwissen zu kombinieren. In der Branche wird die Maßnahme von Google als notwendiger, aber späte Reaktion gesehen. Branchenexperten betonen, dass KI-Systeme in der Gesundheitskommunikation nicht nur präzise, sondern auch verantwortungsvoll sein müssen. Google, das mit seiner KI-Plattform „Gemini“ und der Erweiterung von AI Overviews in der Suchmaschine weltweit führend ist, muss nun nachweisen, dass es die Qualität und Sicherheit seiner KI-Inhalte dauerhaft gewährleistet. Die Vorfälle könnten die Akzeptanz von KI in medizinischen Anwendungen beeinträchtigen, wenn Vertrauen in die Genauigkeit der Informationen nicht wiederhergestellt wird.