SingLoRA: Anpassung niedrigen Rangs mit einer einzelnen Matrix

Die Low-Rank-Anpassung (LoRA) hat die parameter-effiziente Feinabstimmung großer vortrainerter Modelle erheblich vorangebracht. LoRA erweitert die vortrainierten Gewichte eines Modells, indem es das Produkt zweier kleinerer Matrizen hinzufügt, die zusammen eine Low-Rank-Matrix-Update bilden. Neueste Forschungen haben gezeigt, dass Skalenunterschiede zwischen diesen beiden Matrizen oft zu instabilen Trainingsdynamiken führen, was wiederum suboptimale Leistungen nach sich zieht. In dieser Arbeit schlagen wir SingLoRA vor, eine Methode, die die Low-Rank-Anpassung durch das Lernen der Gewichtsaktualisierung als Zerlegung einer einzelnen Low-Rank-Matrix und ihrer Transponierten neu formuliert. Diese einfache Designentscheidung eliminiert intrinsisch intermatrixiale Skalenkonflikte und gewährleistet eine stabile Optimierung, während sie den Parameterumsatz etwa halbiert. Wir analysieren SingLoRA im Rahmen des unendlich breiten neuronalen Netzwerks und zeigen, dass es durch seine Konstruktion stabiles Feature-Lernen garantiert. Umfangreiche Experimente zu verschiedenen Aufgaben bestätigen diese Vorteile. Bei der常识推理（Common Sense Reasoning）-Aufgabe erreicht die Feinabstimmung von LLama 7B auf MNLI mit SingLoRA eine Genauigkeit von 91,3 % – was sowohl LoRA (89,1 %) als auch LoRA+ (90,2 %) übertrifft – und dabei nur 60 % ihres Parameterbudgets nutzt. Bei der Bildgenerierung verbessert die Feinabstimmung von Stable Diffusion mit SingLoRA die Bildtreue bei DreamBooth erheblich und erreicht einen DINO-Ähnlichkeitsscore von 0,151 im Vergleich zu Werten von 0,148 und 0,143 für DoRA und LoRA.请注意，"常识推理"在德语中通常翻译为"Alltagslogik". 因此，上述段落中的"常识推理"应更正为：Bei der Alltagslogik-Aufgabe erreicht die Feinabstimmung von LLama 7B auf MNLI mit SingLoRA eine Genauigkeit von 91,3 % – was sowohl LoRA (89,1 %) als auch LoRA+ (90,2 %) übertrifft – und dabei nur 60 % ihres Parameterbudgets nutzt.