本稿では、視覚・言語事前学習（VLP）モデルの力を活用することを目的として、教師なしドメイン適応（UDA）における2つの重要な課題に取り組む。第一に、UDAは従来、ImageNetで事前学習されたモデルに依存してきたが、VLPモデルがUDAにおいて有する潜在的価値はまだ十分に解明されていない。VLPモデルが持つ豊かな表現能力は、UDAタスクの性能向上に大きな可能性を秘めている。この課題に対処するため、本研究では新たな手法として、マルチモーダル知識蒸留（Cross-Modal Knowledge Distillation, CMKD）を提案する。この手法は、VLPモデルを教師モデルとして用い、ターゲットドメインにおける学習プロセスを指導することで、最先端の性能を達成する。第二に、現在のUDAアプローチでは、各タスクごとに別々のモデルを訓練する必要があるため、タスク数の増加に伴いメモリ使用量が著しく増大し、実用的なモデル展開が困難となる。この問題を解決するために、VLPモデルの広範な事前学習の恩恵を活かした、残差スパース学習（Residual Sparse Training, RST）を導入する。RSTは、VLPモデルのパラメータをわずか0.1%～0.5%程度のみ調整するだけで、ファインチューニングと同等の性能を達成できる。CMKDとRSTを統合することで、VLPモデルを効果的にUDAタスクに活用しつつ、モデル展開に伴うストレージ負荷を大幅に削減する包括的な解決策を提供する。さらに、CMKDはFixMatchなどの他の手法と組み合わせることで、UDA性能の向上を促進する基盤として機能する。本研究で提案する手法は、標準的なベンチマークにおいて既存手法を上回る性能を示した。実装コードは以下のURLにて公開される予定である：https://github.com/Wenlve-Zhou/VLP-UDA。