Metrikbasiertes In-Context-Lernen: Eine Fallstudie zur Textvereinfachung

In-Context-Learning (ICL) für große Sprachmodelle hat sich als eine leistungsfähige Methode für zahlreiche Aufgaben im Bereich der natürlichen Sprachverarbeitung erwiesen. Die Auswahl der optimalen Beispiele für ICL ist jedoch nicht trivial, da die Ergebnisse stark von der Qualität, Menge und Reihenfolge der verwendeten Beispiele abhängen können. In dieser Arbeit führen wir eine Fallstudie zum Textvereinfachung (TS) durch, um zu untersuchen, wie die besten und robustesten Beispiele für ICL ausgewählt werden können. Wir stellen die Metric-Based in-Context Learning (MBL)-Methode vor, die gängige TS-Metriken wie SARI, Kompressionsverhältnis und BERT-Precision zur Auswahl der Beispiele nutzt. Anhand einer umfangreichen Reihe von Experimenten mit verschiedenen GPT-Modellen unterschiedlicher Größe auf Standard-TS-Benchmarks wie TurkCorpus und ASSET zeigen wir, dass Beispiele, die auf der Basis der höchsten SARI-Werte ausgewählt wurden, bei größeren Modellen wie GPT-175B die besten Ergebnisse erzielen, während das Kompressionsverhältnis im Allgemeinen bei kleineren Modellen wie GPT-13B und GPT-6,7B überlegen ist. Darüber hinaus demonstrieren wir, dass MBL im Allgemeinen robust gegenüber unterschiedlichen Beispielfolgen und Testdatensätzen aus anderen Domänen ist und starke Baseline-Methoden sowie state-of-the-art fine-tuned Sprachmodelle übertrifft. Schließlich zeigen wir, dass sich das Verhalten großer GPT-Modelle implizit durch die Wahl der verwendeten Metrik steuern lässt. Unsere Forschung bietet einen neuen Ansatz zur Auswahl von Beispielen im ICL und belegt dessen Wirksamkeit bei Textvereinfachungsaufgaben, wodurch neue Wege für genauere und effizientere NLG-Systeme eröffnet werden.