HyperAIHyperAI

Command Palette

Search for a command to run...

HONEST: Messung schädlicher Satzergänzungen in Sprachmodellen

Dirk Hovy Federico Bianchi Debora Nozza

Zusammenfassung

Sprachmodelle haben das Gebiet der natürlichen Sprachverarbeitung revolutioniert. Dennoch erfassen und verbreiten Sprachmodelle schädliche Stereotypen, insbesondere bei der Textgenerierung. Unsere Ergebnisse zeigen, dass Sprachmodelle in 4,3 % der Fälle einen Satz mit einem verletzenden Wort abschließen. Diese Fälle sind nicht zufällig, sondern folgen sprach- und geschlechtsspezifischen Mustern. Wir schlagen einen Score zur Messung verletzender Satzergänzungen in Sprachmodellen vor (HONEST). Dieser basiert auf einer systematischen, Vorlage- und Lexikon-basierten Bias-Evaluierungsmethode für sechs Sprachen. Unsere Befunde deuten darauf hin, dass diese Modelle tief verwurzelte gesellschaftliche Stereotypen bezüglich Geschlechterrollen reproduzieren und verstärken. Bei weiblichen Zielpersonen beziehen sich Satzergänzungen in 9 % der Fälle auf sexuelle Promiskuität, bei männlichen Zielpersonen in 4 % auf Homosexualität. Die Ergebnisse werfen ernsthafte Fragen bezüglich der Nutzung dieser Modelle in produktiven Umgebungen auf.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
HONEST: Messung schädlicher Satzergänzungen in Sprachmodellen | Paper | HyperAI