GIFT-SW: LLMs를 위한 주목할 만한 가중치의 가우시안 노이즈 주입 미세조정

파라미터 효율적 미세조정(Parameter Efficient Fine-Tuning, PEFT) 기법은 대규모 언어 모델(Large Language Models, LLMs)의 활용을 보편화시키며 인기를 끌고 있다. 최근 연구들은 모델의 성능에 상당한 영향을 미치는 파라미터 하위 집합이 매우 작다는 점을 밝혀냈다. 이러한 관찰을 바탕으로, 우리는 중요한 파라미터 열(열 방향의 가중치)만을 업데이트하고, 비중요한 파라미터 열에는 가우시안 노이즈를 주입하는 새로운 PEFT 기법인 GIFT-SW(Gaussian noise Injected Fine Tuning of Salient Weights)를 제안한다. 본 연구에서는 기존 연구들의 민감도 지표를 확장하고 통합하는 일반화된 민감도 메트릭을 개발하여, 이러한 중요한 열들을 정확히 식별하였다. LLaMA 모델을 대상으로 수행한 실험 결과, 동일한 계산 리소스 예산 하에서 GIFT-SW는 전체 미세조정(full fine-tuning) 및 최신 PEFT 기법들을 모두 초월하는 성능을 보였다. 더불어 GIFT-SW는 중요한 가중치를 정밀도를 유지한 상태로 보존하면서 혼합 정밀도 양자화(mixed-precision quantization)에 노출된 모델의 성능 회복에 실질적인 이점을 제공한다.