SingLoRA: 単一行列を使用した低ランク適応

低ランク適応（LoRA）は、大規模事前学習モデルのパラメータ効率的なファインチューニングを大幅に進展させました。LoRAは、モデルの事前学習された重みに2つの小さな行列の積を加えることで、低ランク行列更新を導入します。最近の研究では、これらの2つの行列間のスケール差がしばしば不安定な学習動態を引き起こし、最適でない性能につながることが示されています。本論文では、SingLoRAという手法を提案します。これは低ランク適応を再定式化し、重み更新を単一の低ランク行列とその転置行列の積として分解して学習する方法です。この単純な設計は、行列間のスケール衝突を内在的に除去し、安定した最適化を保証するとともに、パラメータ数を概ね半分に削減します。我々は無限幅ニューラルネットワークフレームワーク内でSingLoRAを解析し、その構造によって安定した特徴量学習が保証されることを示しています。複数のタスクにおける広範な実験により、これらの利点が検証されています。常識推論においては、MNLIデータセット上でLLama 7BモデルをSingLoRAを使用してファインチューニングすることで91.3%の精度が達成され、これはLoRA（89.1%）やLoRA+（90.2%）よりも優れています。さらに、これらの手法と比較して60%少ないパラメータ予算で達成されています。画像生成においても、Stable DiffusionモデルをSingLoRAでファインチューニングすることでDreamBoothでの画像忠実度が大幅に向上し、DINO類似度スコアが0.151となりました。これはDoRA（0.148）やLoRA（0.143）よりも高いスコアです。