Eine effektive domänenadaptive Post-Trainingsmethode für BERT in der Antwortselektion

Wir konzentrieren uns auf die Mehrfach-Antwortauswahl in einem wiedergabebasierten Dialogsystem. In dieser Arbeit nutzen wir das leistungsstarke, vortrainierte Sprachmodell Bidirectional Encoder Representations from Transformers (BERT) für ein Mehrfach-Dialogsystem und schlagen eine hoch effektive Nachtrainingsmethode auf einem domänenspezifischen Korpus vor. Obwohl BERT leicht an verschiedene NLP-Aufgaben angepasst werden kann und die bisherigen Baselines jeder Aufgabe übertrifft, hat es noch Einschränkungen, wenn der Aufgabekorpus zu stark auf einen bestimmten Bereich fokussiert ist. Das Nachtraining auf einem domänenspezifischen Korpus (z.B. Ubuntu-Korpus) hilft dem Modell, kontextualisierte Repräsentationen und Wörter zu erlernen, die in allgemeinen Korpora (z.B. Englische Wikipedia) nicht vorkommen. Die experimentellen Ergebnisse zeigen, dass unser Ansatz neue Standarts erreicht und die Leistung bei zwei Antwortauswahl-Benchmarks (d.h., Ubuntu-Korpus V1, Beratungskorpus) um 5,9 % und 6 % bei R@1 verbessert.