HyperAIHyperAI

Command Palette

Search for a command to run...

GIFT-SW: Gaussian-Rausch-Induziertes Feinabstimmen bedeutender Gewichte für LLMs

Maxim Zhelnin Viktor Moskvoretskii Egor Shvetsov Egor Venediktov Mariya Krylova Aleksandr Zuev Evgeny Burnaev

Zusammenfassung

Parameter-effiziente Feinabstimmung (Parameter Efficient Fine-Tuning, PEFT) Methoden haben an Beliebtheit gewonnen und die Nutzung großer Sprachmodelle (Large Language Models, LLMs) demokratisiert. Neuere Studien haben gezeigt, dass eine kleine Teilmenge der Gewichte einen signifikanten Einfluss auf die Leistung hat. Aufgrund dieser Beobachtung stellen wir eine neue PEFT-Methode vor, die als Gaussian Noise Injected Fine Tuning of Salient Weights (GIFT-SW) bezeichnet wird. Unser Ansatz aktualisiert lediglich die auffälligen Spalten, während Gaussian-Rauschen in die nicht-auffälligen Spalten eingefügt wird. Zur Identifizierung dieser Spalten haben wir ein verallgemeinertes Empfindlichkeitsmaß entwickelt, das die Maße aus früheren Studien erweitert und vereinheitlicht. Experimente mit LLaMA-Modellen zeigen, dass GIFT-SW unter gleicher Rechenressource sowohl die vollständige Feinabstimmung als auch moderne PEFT-Methoden übertrifft. Darüber hinaus bietet GIFT-SW praktische Vorteile bei der Wiederherstellung der Leistung von Modellen, die einer Mixed-Precision-Quantisierung unterzogen wurden, wobei die auffälligen Gewichte in voller Präzision beibehalten werden.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp