Low-Rank-Anpassung LoRA

LoRA (Low-Rank Adaptation) ist eine beliebte Technik zur Feinabstimmung von LLM (Large Language Model), die ursprünglich von Forschern von Microsoft in dem Artikel "LORA: LOW-RANK-ADAPTION GROSSER SPRACHMODELLE"vorgeschlagen in.

In der heutigen schnelllebigen Technologielandschaft sind groß angelegte KI-Modelle die treibende Kraft für bahnbrechende Fortschritte in allen Bereichen. Das Anpassen dieser Modelle an bestimmte Aufgaben oder Datensätze kann jedoch ein rechen- und ressourcenintensives Unterfangen sein. LoRA (Low Level Adaptation) ist eine bahnbrechende, effiziente Feinabstimmungstechnologie, das die Leistungsfähigkeit dieser erweiterten Modelle für benutzerdefinierte Aufgaben und Datensätze nutzen kann, ohne die Ressourcen zu belasten oder unerschwinglich hohe Kosten zu verursachen. Die Grundidee besteht darin, eine Matrix mit niedrigem Rang zu entwerfen und sie dann zur ursprünglichen Matrix hinzuzufügen. In diesem Zusammenhang ist ein „Adapter“ ein Satz von Matrizen mit niedrigem Rang, die, wenn sie zu einem Basismodell hinzugefügt werden, ein fein abgestimmtes Modell erzeugen. Dadurch lässt sich die Leistung einer vollständigen Feinabstimmung des Modells mit wesentlich geringerem Platzbedarf erreichen. Ein Sprachmodell mit Milliarden von Parametern benötigt für die Feinabstimmung von LoRA möglicherweise nur Millionen von Parametern.

Verweise

【1】https://www.ml6.eu/blogpost/low-rank-adaptation-a-technical-deep-dive

【2】https://zh.wikipedia.org/wiki/_()