Zweistufiges überwachtes kontrastives Lernen für die Antwortauswahl in mehrstufigen Dialogen

Die Auswahl einer angemessenen Antwort aus zahlreichen Kandidaten aufgrund der Äußerungen in einem mehrfach vermittelten Dialog ist das Kernproblem eines auf Retrieval basierenden Dialogsystems. Bestehende Arbeiten formulieren die Aufgabe als Übereinstimmung zwischen den Äußerungen und einem Kandidaten und verwenden bei der Modelllernen den Kreuzentropieverlust. In dieser Arbeit wird das Kontrastive Lernen durch Anwendung des überwachten kontrastiven Verlustes auf das Problem angewendet. Auf diese Weise können die gelernten Repräsentationen positiver Beispiele und die Repräsentationen negativer Beispiele im Einbettungsraum stärker voneinander getrennt werden, was die Leistungsfähigkeit der Übereinstimmung verbessert. Wir entwickeln außerdem eine neue Methode für das überwachte kontrastive Lernen, die als zweistufiges überwachtes kontrastives Lernen (two-level supervised contrastive learning) bezeichnet wird, und wenden diese Methode bei der Antwortauswahl in mehrfach vermittelten Dialogen an. Unsere Methode nutzt zwei Techniken: Satztokenvermischung (STS) und Satzwiederanordnung (SR) für das überwachte kontrastive Lernen. Experimentelle Ergebnisse auf drei Benchmark-Datensätzen zeigen, dass die vorgeschlagene Methode erheblich besser abschneidet als die Baseline des kontrastiven Lernens und die bislang besten Methoden für diese Aufgabe.