Zhaoyang Chu Yao Wan Zhikun Zhang Di Wang Zhou Yang Hongyu Zhang Pan Zhou Xuanhua Shi Hai Jin David Lo

Abstract

Obwohl Code-Sprachmodelle (CLMs) eine herausragende Leistung bei Software-Engineering-Aufgaben wie Codegenerierung und -zusammenfassung gezeigt haben, offenbaren kürzlich durchgeführte empirische Studien eine kritische Datenschutzlücke: Diese Modelle zeigen eine unbeabsichtigte Speicherung sensibler Trainingsdaten, was eine wortwörtliche Wiedergabe vertraulicher Informationen ermöglicht, wenn sie gezielt darauf angesprochen werden. Um dieses Problem anzugehen, wurden mehrere Ansätze vorgeschlagen, darunter die Entfernung von Duplikaten im Trainingsdatensatz und die Erweiterung durch differentielle Privatsphäre. Diese Methoden erfordern jedoch eine vollständige Neuausbildung des Modells für bereits eingesetzte CLMs, was erhebliche rechnerische Kosten verursacht. In dieser Arbeit stellen wir die folgende Forschungsfrage: Kann sensible Information, die von CLMs gespeichert wurde, effektiv und effizient gelöscht werden?Wir führen eine wegweisende Untersuchung zur Löschung sensibler Speicherung in CLMs mittels Maschinenunlernen durch – einer nachträglichen Modifikationsmethode, die spezifische Informationen aus bereits trainierten Modellen entfernt, ohne eine vollständige Neuausbildung zu erfordern. Konkret quantifizieren wir zunächst die Speicherungsrisiken sensibler Daten innerhalb von CLM-Trainingsdatensätzen und erstellen einen hochriskanten Datensatz mit 50.000 sensiblen, gespeicherten Beispielen als Ziel für das Unlernen. Wir untersuchen zwei weit verbreitete, auf Gradientenanstieg basierende Unlernverfahren: das herkömmliche und das konstrainsbasierte Verfahren. Darüber hinaus stellen wir CodeEraser vor, eine fortschrittliche Variante, die gezielt sensible, gespeicherte Codeabschnitte unlernt, während sie die strukturelle Integrität und die funktionale Korrektheit des umgebenden Codes bewahrt. Umfangreiche Experimente an drei Klassen von CLMs – CodeParrot, CodeGen-Mono und Qwen2.5-Coder – bestätigen die Wirksamkeit und Effizienz von CodeEraser bei der Löschung gezielter sensibler Speicherungen, wobei die Nutzbarkeit des Modells weitgehend erhalten bleibt.