Command Palette
Search for a command to run...
スクラブイットアウト!マシンアンラーニングを用いたコード言語モデルにおけるセンシティブな記憶の消去
スクラブイットアウト!マシンアンラーニングを用いたコード言語モデルにおけるセンシティブな記憶の消去
Zhaoyang Chu Yao Wan Zhikun Zhang Di Wang Zhou Yang Hongyu Zhang Pan Zhou Xuanhua Shi Hai Jin David Lo
概要
コード言語モデル(CLMs)は、コード生成や要約といったソフトウェア工学タスクにおいて優れた性能を示しているが、最近の実証的研究により、重大なプライバシー上の脆弱性が明らかになった。すなわち、これらのモデルは訓練データの機密情報を意図せず記憶しており、特定のプロンプトが与えられた場合に、その情報をそのまま再現してしまう可能性がある。この問題に対処するため、訓練データの重複削除や微分プライバシーの強化といった複数のアプローチが提案されている。しかし、これらの手法は展開済みのCLMに対してフルモデルの再訓練を必要とし、大きな計算コストを伴う。本研究では、以下の研究問いに答えることを目的とする:CLMが記憶した機密情報は、効果的かつ効率的に消去可能だろうか?本研究では、モデルの再訓練を必要とせずに特定の情報を削除する後処理手法である「機械的忘却(machine unlearning)」を用いて、CLMにおける機密情報の記憶を消去するという画期的な探求を行う。具体的には、まずCLMの訓練データセット内における機密データの記憶リスクを定量的に評価し、5万件の機密情報が記憶された高リスクサンプルから構成されるデータセットを、忘却の対象として構築した。さらに、広く用いられている勾配上昇に基づく忘却手法である「通常法」と「制約付き法」を検討し、コードの周囲の構造的整合性および機能的正しさを保持しつつ、機密情報として記憶されたコードセグメントのみを選択的に消去する高度な手法「CodeEraser」を提案する。CodeParrot、CodeGen-Mono、Qwen2.5-Coder の3つのCLMファミリーを対象とした広範な実験により、CodeEraserがターゲットとなる機密情報の消去において有効かつ効率的であり、モデルの実用性を維持しつつも高い性能を発揮することが実証された。