UDALM: Unsupervised Domain Adaptation durch Sprachmodellierung

In dieser Arbeit untersuchen wir die unüberwachte Domänenanpassung (Unsupervised Domain Adaptation, UDA) vortrainierter Sprachmodelle für nachgeschaltete Aufgaben. Wir stellen UDALM vor, ein Feinjustierungsverfahren, das eine gemischte Verlustfunktion aus Klassifikations- und Masked Language Model (MLM)-Verlust verwendet, um robust und samples-effizient der Ziel-Domänenverteilung anzupassen. Unsere Experimente zeigen, dass die Leistung von Modellen, die mit der gemischten Verlustfunktion trainiert wurden, mit der Menge an verfügbaren Ziel-Daten ansteigt, und dass die gemischte Verlustfunktion effektiv als Stoppkriterium während des UDA-Trainings eingesetzt werden kann. Darüber hinaus diskutieren wir die Beziehung zwischen der A-Distanz und dem Ziel-Fehler und untersuchen einige Einschränkungen des Domain-Adversarial-Training-Ansatzes. Unser Verfahren wird an zwölf Domänenpaaren des Amazon Reviews Sentiment-Datensatzes evaluiert und erreicht eine Genauigkeit von 91,74 %, was eine absolute Verbesserung von 1,11 % gegenüber dem Stand der Technik darstellt.