要約
本稿では、計算効率が高く、実装が容易であり、大規模言語モデル、マルチモーダルモデル、および拡散モデルへの適用が容易な、部分空間に着想を得た低ランク適応（LoRA）手法を提案する。まず、LoRAの重みを二つの部分空間に等価に分解し、それらを単純に混合するだけで性能向上が見られた。この現象を詳細に検討するため、細粒度な部分空間の視点から再考した結果、このような変更は固定されたミキサーを用いて部分空間を融合する操作と等価であることが明らかになった。より柔軟性を高めるために、オリジナルのLoRA重みと同時にミキサーも共同で学習する手法を提案し、これを「部分空間混合型LoRA（Mixture-of-Subspaces LoRA, MoSLoRA）」と命名する。MoSLoRAは、常識的推論、視覚的指示微調整、主題駆動型テキストから画像生成といった、異なるモダリティにおけるタスクにおいて、一貫してLoRAを上回る性能を示し、その有効性と堅牢性を実証した。実装コードは、https://github.com/wutaiqiang/MoSLoRA{github} にて公開されている。