In diesem Artikel stellen wir eine auf Unterräumen basierende Low-Rank-Adaptation (LoRA)-Methode vor, die recheneffizient, einfach umzusetzen und problemlos auf große Sprach-, multimodale sowie Diffusionsmodelle anwendbar ist. Zunächst zerlegen wir die Gewichte von LoRA äquivalent in zwei Unterräume und stellen fest, dass eine einfache Mischung dieser Unterräume die Leistung verbessert. Um dieses Phänomen genauer zu untersuchen, betrachten wir es erneut durch eine fein granulierte Unterraum-Perspektive und zeigen, dass eine solche Modifikation äquivalent dazu ist, einen festen Mixer zur Fusion der Unterräume einzusetzen. Um mehr Flexibilität zu erreichen, lernen wir den Mixer gemeinsam mit den ursprünglichen LoRA-Gewichten, und bezeichnen die Methode als Mixture-of-Subspaces LoRA (MoSLoRA). MoSLoRA übertrifft konsistent die Leistung von LoRA bei Aufgaben unterschiedlicher Modalitäten, einschließlich alltagsweltlicher Schlussfolgerung, visueller Anweisungstuning sowie themenbasiertem Text-zu-Bild-Generieren, was ihre Wirksamkeit und Robustheit belegt. Der Quellcode ist unter https://github.com/wutaiqiang/MoSLoRA{github} verfügbar.