In dieser Arbeit untersuchen wir die unüberwachte Domänenanpassung (Unsupervised Domain Adaptation, UDA) vortrainierter Sprachmodelle für nachgeschaltete Aufgaben. Wir stellen UDALM vor, ein Feinjustierungsverfahren, das eine gemischte Verlustfunktion aus Klassifikations- und Masked Language Model (MLM)-Verlust verwendet, um robust und samples-effizient der Ziel-Domänenverteilung anzupassen. Unsere Experimente zeigen, dass die Leistung von Modellen, die mit der gemischten Verlustfunktion trainiert wurden, mit der Menge an verfügbaren Ziel-Daten ansteigt, und dass die gemischte Verlustfunktion effektiv als Stoppkriterium während des UDA-Trainings eingesetzt werden kann. Darüber hinaus diskutieren wir die Beziehung zwischen der A-Distanz und dem Ziel-Fehler und untersuchen einige Einschränkungen des Domain-Adversarial-Training-Ansatzes. Unser Verfahren wird an zwölf Domänenpaaren des Amazon Reviews Sentiment-Datensatzes evaluiert und erreicht eine Genauigkeit von 91,74 %, was eine absolute Verbesserung von 1,11 % gegenüber dem Stand der Technik darstellt.