Effizientes Lernen zur Testzeit: Aktives Fine-Tuning von LLMs

Neuere Ansätze zur Feinabstimmung von Sprachmodellen stützen sich häufig auf automatische Datenauswahl, die üblicherweise mittels der Nachbar-ähnlichkeitsretrieval-Methode aus großen Datensätzen erfolgt. Wir zeigen jedoch theoretisch, dass dieser Ansatz dazu neigt, redundante Daten auszuwählen, was dessen Wirksamkeit einschränkt oder sogar die Leistung verschlechtert. Um dieses Problem zu beheben, stellen wir SIFT vor – einen Algorithmus zur Datenauswahl, der die Unsicherheit bezüglich der Antwort des Modells auf eine gegebene Eingabe (Prompt) minimiert und damit Ideen aus der Recherche und dem aktiven Lernen vereint. Im Gegensatz zu herkömmlichen Nachbar-ähnlichkeitsretrieval-Verfahren, die bei Vorhandensein von Informationsduplikationen versagen, berücksichtigt SIFT Informationsduplikationen und optimiert den Gesamtinformationsgewinn der ausgewählten Beispiele. Wir evaluieren unseren Ansatz anhand der Feinabstimmung zur Testzeit für prompt-spezifische Sprachmodellierung auf dem Pile-Datensatz und zeigen, dass SIFT konsistent besser abschneidet als die Nachbar-ähnlichkeitsretrieval-Methode, und zwar mit minimalen zusätzlichen Rechenkosten. Darüber hinaus zeigen wir, dass unsere Unsicherheitsschätzungen die Leistungssteigerung bei der Feinabstimmung zur Testzeit vorhersagen können, und nutzen diese Eigenschaft, um einen adaptiven Algorithmus zu entwickeln, der die zur Verfügung stehende Rechenleistung proportional den tatsächlich erzielten Leistungsverbesserungen einsetzt. Wir stellen die Bibliothek $\texttt{activeft}$ (Active Fine-Tuning) bereit, die als direkte Ersatzkomponente für die Nachbar-ähnlichkeitsretrieval-Methode verwendet werden kann.