Discord-KI sperrte Nutzer irrtümlich wegen harmloser Bilder
Discord hat bestätigt, dass ein Fehler in seinem automatisierten KI-Modérationssystem in den vergangenen zwei Monaten mehr als 8.000 Nutzerkonten irrtümlich gesperrt hat. Die Sperrungen wurden durch harmlose Bilder ausgelöst, darunter Tabellenkalkulationen, Schachbrettmuster, Spieltexturen sowie weiße oder graue transparente Hintergründe. Das Problem bestand bereits seit Mai, wobei sich die Zahl der betroffenen Konten am vergangenen Wochenende auf insgesamt rund 8.200 belief, bevor das Entwicklungsteam den Fehler identifizieren und beheben konnte. Derzeit werden die fehlerhaft gesperrten Accounts sukzessive wiederhergestellt. Laut Angaben des Support-Teams arbeitet die Moderationssoftware damit, hochgeladene Inhalte gegen Datenbanken bekannter schädlicher Materialien abzugleichen. Ein Softwarefehler umging jedoch die übliche menschliche Nachprüfung und führte dazu, dass die Systeme die fragwürdigen Bilder fälschlicherweise als illegalen oder missbräuchlichen Inhalt einstufen und die Konten sofort mit einer permanenten Sperrung belegen. Discord hat den Fehler öffentlich zugegeben und verspricht, zusätzliche Sicherheitsvorkehrungen zu implementieren, um derartige Falschalarme in der Zukunft zu vermeiden. Auf sozialen Plattformen meldeten sich zahlreiche Betroffene zu Wort. Viele wiesen darauf hin, dass quadratische Rastermuster in den Uploads als Auslöser dienten, was auf frühere Versuche von Nutzern zurückzuführen sei, schutzwürdige Inhalte vor automatisierten Erkennungssystemen zu verbergen. Die Vorfälle unterstreichen die wachsenden Herausforderungen bei der flächendeckenden Anwendung von KI-gestützter Inhaltsmoderation. Während die Automatisierung es Plattformen ermöglicht, illegale oder belästigende Materialien in großem Maßstab zu identifizieren, steigen die Fälle von unbeabsichtigten Kontosperrungen. Nutzer betonen, dass permanente Sperren, die allein auf algorithmischen Fehleinschätzungen beruhen, erhebliche negative Auswirkungen haben können, insbesondere für Entwickler, Community-Manager und Personen, die auf Discord für berufliche oder soziale Kommunikation angewiesen sind. Discord ist nicht das einzige Tech-Unternehmen, das mit ähnlichen Problemen konfrontiert ist. Auch in der Vergangenheit haben Nutzer von Meta-Plattformen und Tumblr über massenhafte, unerklärliche Kontosperren berichtet, die auf automatisierte Moderationssysteme zurückgeführt wurden. Angesichts dieser wiederkehrenden Vorfälle fordert die Öffentlichkeit zunehmend mehr Transparenz und robustere Fehlerkorrekturmechanismen seitens der Anbieter automatisierter Sicherheitsarchitekturen.
