GIFT-SW: Gaussian-Rausch-Induziertes Feinabstimmen bedeutender Gewichte für LLMs

Parameter-effiziente Feinabstimmung (Parameter Efficient Fine-Tuning, PEFT) Methoden haben an Beliebtheit gewonnen und die Nutzung großer Sprachmodelle (Large Language Models, LLMs) demokratisiert. Neuere Studien haben gezeigt, dass eine kleine Teilmenge der Gewichte einen signifikanten Einfluss auf die Leistung hat. Aufgrund dieser Beobachtung stellen wir eine neue PEFT-Methode vor, die als Gaussian Noise Injected Fine Tuning of Salient Weights (GIFT-SW) bezeichnet wird. Unser Ansatz aktualisiert lediglich die auffälligen Spalten, während Gaussian-Rauschen in die nicht-auffälligen Spalten eingefügt wird. Zur Identifizierung dieser Spalten haben wir ein verallgemeinertes Empfindlichkeitsmaß entwickelt, das die Maße aus früheren Studien erweitert und vereinheitlicht. Experimente mit LLaMA-Modellen zeigen, dass GIFT-SW unter gleicher Rechenressource sowohl die vollständige Feinabstimmung als auch moderne PEFT-Methoden übertrifft. Darüber hinaus bietet GIFT-SW praktische Vorteile bei der Wiederherstellung der Leistung von Modellen, die einer Mixed-Precision-Quantisierung unterzogen wurden, wobei die auffälligen Gewichte in voller Präzision beibehalten werden.