Wissen Antwortselektionsmodelle wirklich, was als Nächstes kommt? Strategien zur Manipulation von Äußerungen für die Mehrfachantwortselektion

In dieser Arbeit untersuchen wir die Aufgabe, die optimale Antwort anhand der Verlaufsgeschichte von Benutzer- und Systemäußerungen in abrufbasierten Multi-Turn-Dialogsystemen auszuwählen. Kürzlich zeigten vortrainierte Sprachmodelle (wie z.B. BERT, RoBERTa und ELECTRA) erhebliche Verbesserungen bei verschiedenen natursprachlichen Verarbeitungsaufgaben. Diese und ähnliche Antwortselektionsaufgaben können auch durch solche Sprachmodelle gelöst werden, indem die Aufgaben als Dialog-Antwort-Binäriklassifikationsaufgaben formuliert werden. Obwohl bestehende Arbeiten mit diesem Ansatz erfolgreich den aktuellen Stand der Technik erreichten, beobachten wir, dass Sprachmodelle, die auf diese Weise trainiert wurden, dazu neigen, ihre Vorhersagen auf der Grundlage der Relevanz von Geschichte und Kandidaten zu treffen und dabei die sequentielle Natur von Multi-Turn-Dialogsystemen ignorieren. Dies deutet darauf hin, dass die reine Antwortselektionsaufgabe nicht ausreicht, um zeitliche Abhängigkeiten zwischen Äußerungen zu lernen. Um dieses Problem anzugehen, schlagen wir Strategien zur Manipulation von Äußerungen (Utterance Manipulation Strategies, UMS) vor. Insbesondere bestehen UMS aus mehreren Strategien (d.h., Einfügung, Löschung und Suche), die dem Antwortselektionsmodell helfen, die Dialogkohärenz aufrechtzuerhalten. Darüber hinaus sind UMS selbstüberwachte Methoden, die keine zusätzliche Annotation erfordern und daher leicht in existierende Ansätze integriert werden können. Eine umfangreiche Evaluation über mehrere Sprachen und Modelle zeigt, dass UMS hoch effektiv darin sind, Dialogkonsistenz zu lehren. Dies führt dazu, dass Modelle den aktuellen Stand der Technik bei mehreren öffentlichen Benchmark-Datensätzen erheblich verbessern.请注意，这里有一些术语在德语中没有完全对应的翻译，因此我在括号内保留了英文原词以确保信息的完整性。例如，“Multi-Turn-Dialogsysteme”（多轮对话系统）和“Utterance Manipulation Strategies (UMS)”（话语操纵策略）。