HONEST: Messung schädlicher Satzergänzungen in Sprachmodellen

Sprachmodelle haben das Gebiet der natürlichen Sprachverarbeitung revolutioniert. Dennoch erfassen und verbreiten Sprachmodelle schädliche Stereotypen, insbesondere bei der Textgenerierung. Unsere Ergebnisse zeigen, dass Sprachmodelle in 4,3 % der Fälle einen Satz mit einem verletzenden Wort abschließen. Diese Fälle sind nicht zufällig, sondern folgen sprach- und geschlechtsspezifischen Mustern. Wir schlagen einen Score zur Messung verletzender Satzergänzungen in Sprachmodellen vor (HONEST). Dieser basiert auf einer systematischen, Vorlage- und Lexikon-basierten Bias-Evaluierungsmethode für sechs Sprachen. Unsere Befunde deuten darauf hin, dass diese Modelle tief verwurzelte gesellschaftliche Stereotypen bezüglich Geschlechterrollen reproduzieren und verstärken. Bei weiblichen Zielpersonen beziehen sich Satzergänzungen in 9 % der Fälle auf sexuelle Promiskuität, bei männlichen Zielpersonen in 4 % auf Homosexualität. Die Ergebnisse werfen ernsthafte Fragen bezüglich der Nutzung dieser Modelle in produktiven Umgebungen auf.