HyperAIHyperAI

Command Palette

Search for a command to run...

AuGPT: Nebenaufgaben und Datenverstärkung für Dialoge von Anfang bis Ende mit vorab trainierten Sprachmodellen

Jonáš Kulhánek Vojtěch Hudeček Tomáš Nekvinda Ondřej Dušek

Zusammenfassung

Aufmerksamkeitsbasierte vortrainierte Sprachmodelle wie GPT-2 brachten erhebliche Fortschritte im Bereich der end-to-end Dialogmodellierung. Sie stellen jedoch auch erhebliche Risiken für task-orientierte Dialoge dar, wie zum Beispiel den Mangel an Wissensverankerung oder Vielfalt. Um diese Probleme zu lösen, führen wir modifizierte Trainingsziele für die Feinabstimmung von Sprachmodellen ein und setzen eine massive Datenaugmentierung durch Rückübersetzung (back-translation) ein, um die Vielfalt der Trainingsdaten zu erhöhen. Wir untersuchen zudem die Möglichkeiten, Daten aus mehreren Quellen zu kombinieren, um die Leistung auf dem Ziel-Datensatz zu verbessern. Unsere Beiträge werden sorgfältig sowohl mit menschlichen als auch automatischen Methoden evaluiert. Unser Modell übertrifft das Baseline-Modell erheblich auf den MultiWOZ-Daten und zeigt wettbewerbsfähige Leistungen im Vergleich zum Stand der Technik sowohl bei der automatischen als auch bei der manuellen Bewertung.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
AuGPT: Nebenaufgaben und Datenverstärkung für Dialoge von Anfang bis Ende mit vorab trainierten Sprachmodellen | Paper | HyperAI