Selektive In-Context-Daten-Augmentation für die Intent-Detektion unter Verwendung von punktueller V-Information

Diese Arbeit konzentriert sich auf die Datenaugmentation im Kontext für die Absichtserkennung. Da wir feststellten, dass eine Augmentation durch In-Context-Prompting großer vortrainierter Sprachmodelle (PLMs) allein die Leistung nicht verbessert, stellen wir einen neuen Ansatz vor, der auf PLMs und der punktweisen V-Information (PVI) basiert – einem Maß, das die Nützlichkeit eines Datensatzpunkts für das Training eines Modells messen kann. Unser Verfahren feinjustiert zunächst ein PLM auf einer kleinen Ausgangsdatenmenge und synthetisiert anschließend neue Datensätze – Äußerungen, die bestimmten Absichten entsprechen. Anschließend wendet es eine absichtsorientierte Filterung basierend auf der PVI an, um Datensätze zu entfernen, die für den nachgeschalteten Absichtsklassifikator nicht hilfreich sind. Auf diese Weise kann unser Ansatz die Ausdruckskraft großer Sprachmodelle nutzen, um vielfältige Trainingsdaten zu generieren. Empirische Ergebnisse zeigen, dass unser Verfahren synthetische Trainingsdaten erzeugen kann, die auf drei anspruchsvollen Datensätzen zur Absichtserkennung unter Few-Shot-Bedingungen state-of-the-art-Leistung erzielen (durchschnittlich 1,28 % absolute Verbesserung bei 5-Shot und 1,18 % absolute Verbesserung bei 10-Shot) und in Full-Shot-Szenarien mit dem Stand der Technik konkurrieren (im Durchschnitt innerhalb von 0,01 % absolut).