Ein zweistufiger, vorhersageorientierter kontrastiver Lernrahmen für Multi-Intent-NLU

Die Mehrfach-Intention-Natürliche-Sprach-Verarbeitung (Multi-intent NLU) stellt aufgrund der Modellverwirrung, die durch mehrere Absichten innerhalb einer einzelnen Äußerung entsteht, eine erhebliche Herausforderung dar. Obwohl frühere Ansätze das Modell kontrastiv trainieren, um den Abstand zwischen verschiedenen Mehrfach-Intentionen zu vergrößern, sind sie weniger geeignet, die Feinheiten der Multi-intent-NLU zu erfassen. Insbesondere werden die reichen Informationen zwischen gemeinsam auftretenden Absichten oft ignoriert, obwohl diese zur Konstruktion eines besseren Embedding-Raums beitragen können, besonders in datenarmen Szenarien. Wir stellen einen zweistufigen Prediction-Aware Contrastive Learning (PACL)-Ansatz für die Multi-intent-NLU vor, um dieses wertvolle Wissen gezielt zu nutzen. Unser Ansatz nutzt Informationen über gemeinsame Absichten, indem er Wortniveau-Vortrainierung und prediction-aware kontrastives Feintuning integriert. Wir erstellen ein Vortrainingsdatenset mittels einer Wortniveau-Datenverstärkungsstrategie. Anschließend weist unsere Architektur während des kontrastiven Feintunings dynamisch Rollen für Instanzen zu und führt eine prediction-aware kontrastive Verlustfunktion ein, um den Einfluss des kontrastiven Lernens zu maximieren. Wir präsentieren experimentelle Ergebnisse und empirische Analysen auf drei weit verbreiteten Datensätzen, die belegen, dass unsere Methode sowohl in datenarmen als auch in datenreichen Szenarien die Leistung dreier etablierter Baseline-Modelle übertrifft.