HyperAI超神经
4 days ago

SingLoRA:使用单矩阵的低秩适应

David Bensaïd, Noam Rotstein, Roy Velich, Daniel Bensaïd, Ron Kimmel
SingLoRA:使用单矩阵的低秩适应
摘要

低秩适应(Low-Rank Adaptation, LoRA)在参数高效的大型预训练模型微调方面取得了显著进展。LoRA 通过添加两个较小矩阵的乘积来增强模型的预训练权重,这两个矩阵共同形成一个低秩矩阵更新。最近的研究表明,这两个矩阵之间的尺度差异往往导致训练动态不稳定,从而影响性能。本文提出了一种新的方法 SingLoRA,该方法通过将权重更新表示为单个低秩矩阵与其转置的分解来重新定义低秩适应。这种简单的设计内在地消除了矩阵间的尺度冲突,确保了优化过程的稳定性,并且大约将参数数量减少了一半。我们在无限宽度神经网络框架内对 SingLoRA 进行了分析,结果表明其设计本身就能保证特征学习的稳定性。广泛的实验验证了这些优势。在常识推理任务中,使用 SingLoRA 对 LLama 7B 模型进行微调,在 MNLI 数据集上达到了 91.3% 的准确率——超过了 LoRA(89.1%)和 LoRA+(90.2%),同时仅使用它们 60% 的参数预算。在图像生成任务中,使用 SingLoRA 对 Stable Diffusion 模型进行微调,在 DreamBooth 上显著提高了图像保真度,DINO 相似度得分为 0.151,而 DoRA 和 LoRA 的得分分别为 0.148 和 0.143。