LoRA (Low-Rank Adaptation) は、LLM (Large Language Model) を微調整するための一般的な手法として、もともと Microsoft の研究者によって論文で提案されました。 「LORA: 大規模言語モデルの低ランク適応」で提案されました。

今日のペースの速いテクノロジーの世界では、大規模な人工知能モデルがさまざまな分野でブレークスルーを推進しています。ただし、特定のタスクまたはデータセット用にこれらのモデルをカスタマイズすることは、計算量とリソースを大量に消費する作業になる可能性があります。 LoRA (Low Level Adaptation) は画期的で効率的な微調整テクノロジーです、これらの高度なモデルの力を利用して、リソースに負担をかけたり、法外に高価になることなく、カスタマイズされたタスクやデータセットを完了できます。基本的な考え方は、低ランクの行列を設計し、それを元の行列に追加することです。この文脈では、「アダプター」は、ベース モデルに追加されると、微調整されたモデルを生成する一連の低ランク行列です。これにより、はるかに少ないスペース要件でフルモデルの微調整のパフォーマンスに近づくことができます。数十億のパラメータを持つ言語モデルでは、LoRA の微調整に数百万のパラメータのみが必要な場合があります。

参考文献

【1】https://www.ml6.eu/blogpost/low-rank-adaptation-a-technical-deep-dive

【2】https://zh.wikipedia.org/wiki/_()