GIFT-SW：LLMにおける顕著な重みのガウスノイズ注入微調整

パラメータ効率的な微調整（Parameter Efficient Fine-Tuning, PEFT）手法は、大型言語モデル（Large Language Models, LLMs）の利用を広く普及させ、民主化を促進している。近年の研究では、モデルのパラメータのわずかな部分が性能に大きな影響を与えることが示されている。この観察に基づき、本研究では「顕著な重みへのガウスノイズ注入による微調整（Gaussian noise Injected Fine Tuning of Salient Weights, GIFT-SW）」と呼ばれる新たなPEFT手法を提案する。本手法は、顕著な重み列のみを更新し、非顕著な重み列にはガウスノイズを注入する。顕著な列を特定するために、従来の研究における複数の感度指標を拡張・統合した汎用的な感度指標を新たに開発した。LLaMAモデルを用いた実験により、GIFT-SWが同じ計算リソース制約下で、フル微調整および従来の先進的なPEFT手法を上回る性能を発揮することが確認された。さらに、GIFT-SWは、混合精度量子化を適用したモデルにおいて、顕著な重みをフル精度で維持することで、性能の回復を実現する実用的な利点を有している。