低秩适应 LoRA (Low-Rank Adaptation)

LoRA (Low-Rank Adaptation) 作为一种用于微调 LLM（大语言模型）的流行技术，最初由来自微软的研究人员在论文 「LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS」中提出。

在当今快节奏的技术领域，大型人工智能模型正在推动各个领域取得突破性进展。然而，针对特定任务或数据集定制这些模型可能是一项计算和资源密集型工作。 LoRA（低等级自适应）是一种突破性的高效微调技术，它可以利用这些先进模型的力量来完成定制任务和数据集，而不会造成资源紧张或成本过高。其基本思想是设计一个低秩矩阵，然后将其添加到原始矩阵中。在这个背景下，「适配器」是一组低秩矩阵，当添加到基础模型时，产生一个微调模型。它允许在更少的空间需求下接近全模型微调的性能。拥有数十亿参数的语言模型可能只需数百万参数进行 LoRA 微调。

参考来源

【1】https://www.ml6.eu/blogpost/low-rank-adaptation-a-technical-deep-dive

【2】https://zh.wikipedia.org/wiki/%E5%BE%AE%E8%B0%83_(%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0)