Zhaoyang Chu Yao Wan Zhikun Zhang Di Wang Zhou Yang Hongyu Zhang Pan Zhou Xuanhua Shi Hai Jin David Lo

Résumé

Bien que les modèles de langage de code (CLM) aient démontré des performances supérieures dans des tâches du génie logiciel telles que la génération de code et la synthèse, des études empiriques récentes révèlent une vulnérabilité critique en matière de confidentialité : ces modèles présentent une mémoire involontaire de données d’entraînement sensibles, permettant la reproduction littérale d’informations confidentielles lorsqu’ils sont spécifiquement sollicités. Pour remédier à ce problème, plusieurs approches ont été proposées, notamment la suppression des doublons dans les données d’entraînement et l’ajout de privauté différentielle. Toutefois, ces méthodes nécessitent un reentraînement complet du modèle pour les CLM déployés, ce qui entraîne des coûts computationnels importants. Dans ce papier, nous nous posons la question de recherche suivante : une information sensible mémorisée par un CLM peut-elle être effacée de manière efficace et efficace ?Nous menons une étude pionnière sur l’effacement de la mémoire sensible dans les CLM via l’« unlearning machine » — une méthode de modification post-hoc qui permet d’éliminer des informations spécifiques d’un modèle entraîné sans nécessiter de reentraînement intégral. Plus précisément, nous quantifions tout d’abord les risques liés à la mémoire de données sensibles au sein des jeux de données d’entraînement des CLM, puis constituons un jeu de données à haut risque comprenant 50 000 échantillons sensibles mémorisés, servant de cibles à l’unlearning. Nous étudions deux approches d’unlearning basées sur la montée en gradient largement utilisées : la méthode classique et la méthode avec contraintes. Nous introduisons ensuite CodeEraser, une variante avancée qui permet d’effacer de manière sélective les segments sensibles mémorisés dans le code, tout en préservant l’intégrité structurelle et la correction fonctionnelle du code environnant. Des expérimentations étendues menées sur trois familles de CLM — à savoir CodeParrot, CodeGen-Mono et Qwen2.5-Coder — valident l’efficacité et l’efficience de CodeEraser pour effacer la mémoire sensible ciblée, tout en maintenant l’utilité du modèle.