초록
이 논문에서는 계산 효율성이 뛰어나 구현이 간편하며, 대규모 언어 모델, 다중 모달 모델 및 확산 모델에 쉽게 적용 가능한, 하위공간 기반의 저랭크 적응(LoRA) 방법을 제안한다. 먼저, LoRA의 가중치를 두 개의 하위공간으로 동등하게 분해한 후, 단순히 이러한 하위공간을 혼합하는 것만으로도 성능 향상을 확인할 수 있었다. 이러한 현상을 탐구하기 위해, 더 세밀한 하위공간 관점에서 재검토하여, 이러한 수정이 고정된 믹서(fixed mixer)를 사용하여 하위공간을 융합하는 것과 동치임을 보였다. 더 유연한 접근을 위해, 기존 LoRA 가중치와 함께 믹서를 공동으로 학습하도록 하여, 하위공간 혼합 기반 LoRA(Mixture-of-Subspaces LoRA, MoSLoRA)라는 방법을 제안한다. MoSLoRA는 일반적 추론, 시각 지시 조정(visual instruction tuning), 주제 기반 텍스트-이미지 생성 등 다양한 모달리티에서 LoRA를 일관되게 능가하며, 그 효과성과 견고성을 입증한다. 코드는 https://github.com/wutaiqiang/MoSLoRA{github}에서 제공된다.