Feinabstimmung nach der Trainingsschritt zur Verbesserung von abrufbasierten Dialogsystemen

Retrieval-basierte Dialogsysteme zeigen eine herausragende Leistung, wenn vortrainierte Sprachmodelle wie bidirektionale Encoder-Repräsentationen aus Transformers (BERT) eingesetzt werden. Bei der Auswahl der Antwort über mehrere Gesprächsrunden hinweg konzentriert sich BERT auf die Trainierung der Beziehung zwischen einem Kontext mit mehreren Äußerungen und der Antwort. Allerdings ist diese Trainingsmethode unzureichend, wenn die Beziehungen zwischen den einzelnen Äußerungen innerhalb des Kontexts berücksichtigt werden müssen. Dies führt zu einem Problem der unvollständigen Verständnis des Kontextflusses, der für die Auswahl einer angemessenen Antwort erforderlich ist. Um dieses Problem zu lösen, schlagen wir eine neue fein granulierte Nachtrainierungsstrategie vor, die die Eigenschaften von Mehrrunden-Dialogen berücksichtigt. Konkret lernt das Modell Interaktionen auf Äußerungsebene, indem es jeweils kurze Kontext-Antwort-Paare innerhalb einer Gesprächssitzung trainiert. Darüber hinaus ermöglicht eine neuartige Trainingszielsetzung, die Klassifikation der Äußerungsrelevanz, dem Modell, die semantische Relevanz und Kohärenz zwischen den Dialogäußerungen zu verstehen. Experimentelle Ergebnisse zeigen, dass unser Modell auf drei Benchmark-Datensätzen neue SOTA-Ergebnisse (state-of-the-art) mit signifikanten Abständen erreicht. Dies deutet darauf hin, dass die fein granulierte Nachtrainierungsstrategie für die Antwortauswahl-Aufgabe äußerst effektiv ist.