Ein einheitliches Vortrainingsframework für konversationsbasierte KI

In dieser Arbeit untersuchen wir die Anwendung von PLATO-2 auf verschiedene Dialogsysteme, darunter offene Konversationen, wissensbasierte Dialoge und taskorientierte Konversationen. PLATO-2 wurde ursprünglich als ein offener Chatbot konzipiert und durch zweistufiges Curriculum-Lernen trainiert. Im ersten Schritt wird ein grobkörniges Antwortgenerierungsmodell gelernt, um eine vereinfachte Eins-zu-Eins-Zuordnung zu erlernen. Dieses Modell wird für taskorientierte Konversationen verwendet, da die semantischen Zuordnungen bei der Taskabwicklung tendenziell deterministisch sind. Im zweiten Schritt werden ein feinkörniges Generierungsmodell und ein Evaluationsmodell weiter gelernt, um vielfältige Antwortgenerierung und Kohärenzschätzung zu ermöglichen. Diese Modelle sind dank ihrer überlegenen Fähigkeit zur Erfassung von Eins-zu-Viele-Zuordnungen für offene Konversationen und wissensbasierte Dialoge geeignet. Für eine umfassende Bewertung von PLATO-2 haben wir an mehreren Aufgaben des DSTC9 teilgenommen, einschließlich der interaktiven Bewertung offener Konversationen (Track3-Aufgabe2), der statischen Bewertung wissensbasierter Dialoge (Track3-Aufgabe1) und der end-to-end taskorientierten Konversation (Track2-Aufgabe1). PLATO-2 hat den ersten Platz in allen drei Aufgaben erreicht, was seine Effektivität als einheitliches Framework für verschiedene Dialogsysteme bestätigt.