LM-CPPF: Paraphrasing-gesteuerte Datenverstärkung für kontrastives promptbasiertes Few-Shot Feinjustierung

In den letzten Jahren gab es erhebliche Fortschritte bei der Entwicklung von vorab trainierten Sprachmodellen für die natürlichsprachliche Verarbeitung (NLP). Diese Modelle haben jedoch oft Schwierigkeiten, wenn sie auf kleinen Datensätzen feinjustiert werden. Um dieses Problem zu lösen, haben Forscher verschiedene Anpassungsansätze vorgeschlagen. Prompt-basierte Feinabstimmung ist wahrscheinlich die am häufigsten verwendete Methode, insbesondere für größere Modelle. Frühere Studien zeigen, dass das Hinzufügen von kontrastivem Lernen zur prompt-basierten Feinabstimmung effektiv ist, da es dem Modell hilft, Einbettungen zu generieren, die zwischen Klassen besser unterscheidbar sind. Zudem kann es auch stichprobenökonomischer sein, da das Modell gleichzeitig aus positiven und negativen Beispielen lernt. Eine der wichtigsten Komponenten des kontrastiven Lernens ist die Datenverstärkung (data augmentation), aber im Gegensatz zur Computer Vision ist eine effektive Datenverstärkung für NLP noch immer herausfordernd. In dieser Arbeit wird LM-CPPF vorgestellt, ein Ansatz zur kontrastiven paraphrasegeführten prompt-basierten Feinabstimmung von Sprachmodellen, der prompt-basierte Few-Shot-Paraphrasierung unter Verwendung generativer Sprachmodelle nutzt – insbesondere große Sprachmodelle wie GPT-3 und OPT-175B – für die Datenverstärkung. Unsere Experimente an mehreren Textklassifizierungsbenchmarks zeigen, dass diese Verstärkungsmethode andere Methoden wie einfache Datenverstärkung (easy data augmentation), Rückübersetzung (back translation) und mehrfache Vorlagen (multiple templates) übertrifft.