DoRA：重み分解型低ランク適応

広く用いられているパラメータ効率的な微調整（PEFT）手法の中でも、LoRAおよびその変種は、推論時の追加コストを回避できる点から大きな人気を博している。しかし、これらの手法とフル微調整（FT）との間に依然として精度のギャップが存在することが多い。本研究では、まずFTとLoRAの本質的な差異を解明するため、新たな重み分解解析を導入する。この解析の知見をもとに、FTの学習能力を再現することを目的として、重み分解型低ランク適応（DoRA）を提案する。DoRAは、事前学習済み重みを「大きさ」と「方向」の二つの成分に分解し、微調整を行う。特に、方向成分の更新にLoRAを活用することで、学習可能なパラメータ数を効率的に最小化する。本手法を採用することで、LoRAの学習能力と訓練安定性を向上させつつ、推論時の追加オーバーヘッドを一切発生させない。実験結果から、DoRAは、共感的推論、視覚的インストラクションチューニング、画像／動画・テキスト理解といった多様な下流タスクにおいて、LLaMA、LLaVA、VL-BARTの微調整において、常にLoRAを上回る性能を示した。コードは https://github.com/NVlabs/DoRA にて公開されている。