HONEST : Mesure de la complétion de phrases nuisibles dans les modèles de langage

Les modèles linguistiques ont révolutionné le domaine du traitement automatique du langage (TAL). Toutefois, ces modèles capturent et propagent des stéréotypes nuisibles, en particulier dans la génération de texte. Nos résultats montrent que dans 4,3 % des cas, les modèles linguistiques complètent une phrase par un mot blessant. Ces occurrences ne sont pas aléatoires, mais suivent des schémas spécifiques au langage et au genre. Nous proposons un indicateur pour mesurer les complétions de phrases blessantes dans les modèles linguistiques (HONEST), fondé sur une méthodologie systématique basée sur des modèles et des lexiques, appliquée à six langues. Nos observations suggèrent que ces modèles reproduisent et amplifient des stéréotypes sociétaux profondément ancrés concernant les rôles de genre. Les complétions de phrases évoquent la promiscuité sexuelle dans 9 % des cas lorsque le sujet est féminin, et dans 4 % des cas l’homosexualité lorsque le sujet est masculin. Ces résultats soulèvent des questions quant à l’utilisation de ces modèles dans des environnements de production.