GOLD: Verallgemeinerte Wissensdistillierung durch außerhalb-der-Verteilung-gesteuerte Sprachdatenerzeugung

Die Wissensverdichtung aus großen Sprachmodellen (LLMs) ist für die effiziente Bereitstellung von Sprachmodellen entscheidend. Frühere Arbeiten haben vorgeschlagen, Daten mit LLMs zu generieren, um verdichtete Modelle vorzubereiten. Wir argumentieren, dass die Datengenerierung mit LLMs dazu neigt, hauptsächlich aus dem Zentrum der ursprünglichen Inhaltsverteilung zu sampeln. Diese Einschränkung verhindert, dass das verdichtete Modell die wahre zugrundeliegende Datenverteilung lernt und führt dazu, dass es die Schwanzbereiche der Verteilungen vergisst (Stichproben mit geringerer Wahrscheinlichkeit). Dazu schlagen wir GOLD vor, ein aufgabenunabhängiges Framework zur Datengenerierung und Wissensverdichtung, das einen iterativen Feedbackmechanismus unter Berücksichtigung von außerhalb der Verteilung (Out-of-Distribution, OOD) für LLMs einsetzt. Als Ergebnis verbessert sich die Generalisierbarkeit der verdichteten Modelle durch die generierten Daten. Zudem wird ein energiebasiertes OOD-Bewertungsverfahren eingeführt, um mit verrauschten generierten Daten umzugehen. Unsere umfangreichen Experimente anhand von zehn verschiedenen Klassifikations- und Sequenz-zu-Sequenz-Aufgaben im Bereich der natürlichsprachlichen Verarbeitung (NLP) zeigen, dass GOLD sowohl frühere Ansätze als auch den LLM selbst bei einem durchschnittlichen Leistungsanstieg von 5 % und 14 % übertrifft. Wir werden außerdem demonstrieren, dass die vorgeschlagene Methode auch für weniger erforschte und neue Aufgaben anwendbar ist. Der Code ist verfügbar.