Parametereffiziente Feinabstimmung

Parameter Efficient Fine-tuning (PEFT) ist eine Technik, die in der natürlichen Sprachverarbeitung (NLP) verwendet wird, um die Leistung vortrainierter Sprachmodelle bei bestimmten nachgelagerten Aufgaben zu verbessern. Dabei werden die Parameter eines vorab trainierten Modells wiederverwendet und anhand eines kleineren Datensatzes feinabgestimmt. Dadurch können im Vergleich zum Trainieren des gesamten Modells von Grund auf Rechenressourcen und Zeit gespart werden. PEFT erreicht diese Effizienz, indem bestimmte Schichten des vortrainierten Modells eingefroren werden und nur die letzten Schichten feinabgestimmt werden, die für die nachfolgende Aufgabe spezifisch sind. Auf diese Weise kann das Modell mit weniger Rechenaufwand und weniger beschrifteten Beispielen an neue Aufgaben angepasst werden. Obwohl PEFT ein relativ neues Konzept ist, wird die Aktualisierung der letzten Schicht eines Modells in der Computervision seit der Einführung des Transferlernens praktiziert.

Im Jahr 2024 schlug das Team von Sun Maosong vom Institut für Informatik der Tsinghua-Universität ein entsprechendes Forschungsergebnis vor:Effiziente Parameterfeinabstimmung für umfangreiche, vortrainierte Sprachmodelle", wurde der Artikel in Nature Machine Intelligence veröffentlicht. Dieses Forschungsergebnis definiert und beschreibt das Delta-Tuning-Problem und überprüft frühere Forschungen anhand eines einheitlichen Rahmens. Delta-Tuning-Methoden können in drei Gruppen unterteilt werden: additionsbasierte, spezifikationsbasierte und reparametrisierungsbasierte Methoden. Das Forschungsteam schlug außerdem einen theoretischen Rahmen aus den Perspektiven der Optimierung und optimalen Steuerung vor, um die nachfolgende Struktur- und Algorithmusgestaltung zu leiten, und führte umfassende experimentelle Vergleiche und Leistungsanalysen für mehr als 100 NLP-Aufgaben durch.