HyperAIHyperAI

Command Palette

Search for a command to run...

CRISP:スパース自己符号化器を用いた恒常的コンセプトの忘却

Tomer Ashuach Dana Arad Aaron Mueller Martin Tutek Yonatan Belinkov

概要

大規模言語モデル(LLM)が実世界の応用にますます広く導入される中、モデルの有用性を保持しつつ、不要な知識を選択的に削除する必要性が高まっている。近年の研究では、単義的特徴(monosemantic features)に対して精密な干渉を行うためにスパース自己符号化器(SAE)が活用されている。しかし、大多数のSAEベースの手法は推論時に行われており、モデルパラメータに恒久的な変更を加えるものではない。このため、パラメータへのアクセスを持つ悪意ある攻撃者によって、これらの干渉は回避または逆転され得る。本研究では、SAEを用いた持続的な概念の忘却(unlearning)を実現するパラメータ効率の高い手法「CRISP」を提案する。CRISPは複数の層にまたがる重要なSAE特徴を自動的に同定し、それらの活性化を抑制する。我々は2種類のLLMを用いて実験を行い、WMDPベンチマークにおける安全に重要な忘却タスクにおいて、既存手法を上回ることを示した。この方法により、有害な知識を効果的に削除しつつ、一般知識およびドメイン固有の能力を維持することが可能となった。特徴レベルでの分析から、CRISPがターゲット概念と良性概念の間に意味的に整合性のある分離を達成していることが明らかとなり、ターゲット特徴の精密な抑制が実現されていることが確認された。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
CRISP:スパース自己符号化器を用いた恒常的コンセプトの忘却 | 記事 | HyperAI超神経