HyperAIHyperAI

Command Palette

Search for a command to run...

Effizientes Lernen zur Testzeit: Aktives Fine-Tuning von LLMs

Jonas Hübotter Sascha Bongni Ido Hakimi Andreas Krause

Zusammenfassung

Neuere Ansätze zur Feinabstimmung von Sprachmodellen stützen sich häufig auf automatische Datenauswahl, die üblicherweise mittels der Nachbar-ähnlichkeitsretrieval-Methode aus großen Datensätzen erfolgt. Wir zeigen jedoch theoretisch, dass dieser Ansatz dazu neigt, redundante Daten auszuwählen, was dessen Wirksamkeit einschränkt oder sogar die Leistung verschlechtert. Um dieses Problem zu beheben, stellen wir SIFT vor – einen Algorithmus zur Datenauswahl, der die Unsicherheit bezüglich der Antwort des Modells auf eine gegebene Eingabe (Prompt) minimiert und damit Ideen aus der Recherche und dem aktiven Lernen vereint. Im Gegensatz zu herkömmlichen Nachbar-ähnlichkeitsretrieval-Verfahren, die bei Vorhandensein von Informationsduplikationen versagen, berücksichtigt SIFT Informationsduplikationen und optimiert den Gesamtinformationsgewinn der ausgewählten Beispiele. Wir evaluieren unseren Ansatz anhand der Feinabstimmung zur Testzeit für prompt-spezifische Sprachmodellierung auf dem Pile-Datensatz und zeigen, dass SIFT konsistent besser abschneidet als die Nachbar-ähnlichkeitsretrieval-Methode, und zwar mit minimalen zusätzlichen Rechenkosten. Darüber hinaus zeigen wir, dass unsere Unsicherheitsschätzungen die Leistungssteigerung bei der Feinabstimmung zur Testzeit vorhersagen können, und nutzen diese Eigenschaft, um einen adaptiven Algorithmus zu entwickeln, der die zur Verfügung stehende Rechenleistung proportional den tatsächlich erzielten Leistungsverbesserungen einsetzt. Wir stellen die Bibliothek activeft\texttt{activeft}activeft (Active Fine-Tuning) bereit, die als direkte Ersatzkomponente für die Nachbar-ähnlichkeitsretrieval-Methode verwendet werden kann.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp