自然言語処理における重要なパラダイムの一つは、一般ドメインのデータ上で大規模な事前学習を行い、その後特定のタスクやドメインに適応するというアプローチである。モデルの規模が大きくなるにつれて、すべてのモデルパラメータを再学習するフルファインチューニングは、もはや現実的ではなくなっている。たとえば、GPT-3 175Bを例に挙げると、各々1750億パラメータを持つファインチューニング済みモデルの独立したインスタンスを展開することは、費用的に非現実的である。本研究では、事前学習済みモデルの重みを固定したまま、Transformerアーキテクチャの各層に学習可能なランク分解行列（rank decomposition matrices）を挿入する「低ランク適応（Low-Rank Adaptation, LoRA）」を提案する。これにより、下流タスクにおける学習可能なパラメータ数を大幅に削減できる。AdamによるGPT-3 175Bのファインチューニングと比較して、LoRAは学習可能なパラメータ数を1万倍、GPUメモリ要件を3倍削減できる。RoBERTa、DeBERTa、GPT-2、GPT-3の各モデルにおいて、学習可能なパラメータ数が少ないにもかかわらず、LoRAはファインチューニングと同等、あるいはそれ以上のモデル品質を達成しており、トレーニングスループットは高い。また、アダプター（adapters）とは異なり、推論時に追加のレイテンシを発生させない。さらに、言語モデルの適応におけるランク不足（rank-deficiency）についての実証的調査を行い、LoRAの有効性の背景を明らかにした。本研究では、PyTorchモデルとのLoRA統合を容易にするパッケージを公開し、RoBERTa、DeBERTa、GPT-2の実装およびモデルチェックポイントを https://github.com/microsoft/LoRA にて提供している。