HyperAIHyperAI

Command Palette

Search for a command to run...

Ein einheitliches Vortrainingsframework für konversationsbasierte KI

Siqi Bao* Bingjin Chen* Huang He* Xin Tian* Han Zhou* Fan Wang Hua Wu Haifeng Wang Wenquan Wu Yingzhan Lin

Zusammenfassung

In dieser Arbeit untersuchen wir die Anwendung von PLATO-2 auf verschiedene Dialogsysteme, darunter offene Konversationen, wissensbasierte Dialoge und taskorientierte Konversationen. PLATO-2 wurde ursprünglich als ein offener Chatbot konzipiert und durch zweistufiges Curriculum-Lernen trainiert. Im ersten Schritt wird ein grobkörniges Antwortgenerierungsmodell gelernt, um eine vereinfachte Eins-zu-Eins-Zuordnung zu erlernen. Dieses Modell wird für taskorientierte Konversationen verwendet, da die semantischen Zuordnungen bei der Taskabwicklung tendenziell deterministisch sind. Im zweiten Schritt werden ein feinkörniges Generierungsmodell und ein Evaluationsmodell weiter gelernt, um vielfältige Antwortgenerierung und Kohärenzschätzung zu ermöglichen. Diese Modelle sind dank ihrer überlegenen Fähigkeit zur Erfassung von Eins-zu-Viele-Zuordnungen für offene Konversationen und wissensbasierte Dialoge geeignet. Für eine umfassende Bewertung von PLATO-2 haben wir an mehreren Aufgaben des DSTC9 teilgenommen, einschließlich der interaktiven Bewertung offener Konversationen (Track3-Aufgabe2), der statischen Bewertung wissensbasierter Dialoge (Track3-Aufgabe1) und der end-to-end taskorientierten Konversation (Track2-Aufgabe1). PLATO-2 hat den ersten Platz in allen drei Aufgaben erreicht, was seine Effektivität als einheitliches Framework für verschiedene Dialogsysteme bestätigt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp