Aysenur Kocak Shuo Yang Bardh Prenkaj Gjergji Kasneci

Résumé

Les modèles pré-entraînés en langage ont connu un succès remarquable dans de nombreuses applications, mais restent vulnérables aux corrélations artificielles et guidées par des concepts, ce qui nuit à leur robustesse et à leur équité. Dans ce travail, nous proposons CURE, un cadre novateur et léger qui désentrelace systématiquement et supprime les raccourcis conceptuels tout en préservant l'information essentielle du contenu. Notre méthode extrait d'abord des représentations indépendantes des concepts grâce à un extracteur de contenu dédié, renforcé par un réseau de réversibilité, garantissant une perte minimale d'information pertinente pour la tâche. Un module ultérieur de débiaisage contrôlable utilise un apprentissage contrastif pour ajuster finement l'influence des indices conceptuels résiduels, permettant au modèle d'atténuer les biais nuisibles ou, au contraire, de tirer parti des corrélations bénéfiques selon les besoins de la tâche cible. Évaluée sur les jeux de données IMDB et Yelp, à l’aide de trois architectures pré-entraînées, CURE obtient une amélioration absolue de +10 points sur le score F1 pour IMDB et de +2 points pour Yelp, tout en introduisant un surcroît computationnel négligeable. Notre approche établit un cadre souple et non supervisé pour lutter contre les biais conceptuels, ouvrant la voie à des systèmes de compréhension du langage plus fiables et plus équitables.