本研究では、事前学習された言語モデルを下流タスクに適用するための教師なしドメイン適応（Unsupervised Domain Adaptation, UDA）を検討する。我々は、混合分類損失とマスク言語モデル損失（Masked Language Model loss）を用いたファインチューニング手法UDALMを提案する。この手法は、ターゲットドメインの分布に堅牢かつサンプル効率的に適応することができる。実験の結果、混合損失を用いて訓練されたモデルの性能は、利用可能なターゲットデータ量に比例して向上し、UDAトレーニング中に混合損失を停止基準（stopping criterion）として有効に利用可能であることが示された。さらに、A-distanceとターゲットエラーの関係について考察し、ドメイン敵対的学習（Domain Adversarial Training）アプローチのいくつかの限界も検討した。本手法はAmazonレビュー感情分析データセットの12組のドメインペアにおいて評価され、91.74%の精度を達成した。これは、既存の最先端手法に対して1.11%の絶対的な性能向上である。