GIFT-SW：面向LLM的显著权重高斯噪声注入微调

参数高效微调（Parameter Efficient Fine-Tuning, PEFT）方法近年来广受关注，推动了大规模语言模型（Large Language Models, LLMs）的普及与应用。近期研究发现，仅一小部分模型权重对性能具有显著影响。基于这一观察，本文提出一种新型PEFT方法——显著权重高斯噪声注入微调（Gaussian noise Injected Fine Tuning of Salient Weights, GIFT-SW）。该方法仅更新显著权重列，同时向非显著权重列注入高斯噪声。为准确识别这些显著列，我们设计了一种广义敏感性度量指标，该指标在形式上扩展并统一了先前研究中的多种敏感性评估方法。在LLaMA系列模型上的实验结果表明，在相同计算预算下，GIFT-SW在性能上优于全量微调以及当前主流的PEFT方法。此外，GIFT-SW在实际应用中展现出显著优势：在模型经过混合精度量化后，通过将显著权重保持在高精度（全精度）状态，可有效恢复模型性能。