AuGPT: Nebenaufgaben und Datenverstärkung für Dialoge von Anfang bis Ende mit vorab trainierten Sprachmodellen

Aufmerksamkeitsbasierte vortrainierte Sprachmodelle wie GPT-2 brachten erhebliche Fortschritte im Bereich der end-to-end Dialogmodellierung. Sie stellen jedoch auch erhebliche Risiken für task-orientierte Dialoge dar, wie zum Beispiel den Mangel an Wissensverankerung oder Vielfalt. Um diese Probleme zu lösen, führen wir modifizierte Trainingsziele für die Feinabstimmung von Sprachmodellen ein und setzen eine massive Datenaugmentierung durch Rückübersetzung (back-translation) ein, um die Vielfalt der Trainingsdaten zu erhöhen. Wir untersuchen zudem die Möglichkeiten, Daten aus mehreren Quellen zu kombinieren, um die Leistung auf dem Ziel-Datensatz zu verbessern. Unsere Beiträge werden sorgfältig sowohl mit menschlichen als auch automatischen Methoden evaluiert. Unser Modell übertrifft das Baseline-Modell erheblich auf den MultiWOZ-Daten und zeigt wettbewerbsfähige Leistungen im Vergleich zum Stand der Technik sowohl bei der automatischen als auch bei der manuellen Bewertung.