通过MLLM引导的基于可靠性课程学习的无源域自适应赋能

无源域适应（Source-Free Domain Adaptation, SFDA）旨在仅利用未标注的目标域数据，将预训练的源模型适配到目标域。当前的SFDA方法在有效利用预训练知识以及充分挖掘目标域数据方面仍面临挑战。多模态大语言模型（Multimodal Large Language Models, MLLMs）在理解视觉与文本信息方面展现出卓越能力，但其在SFDA任务中的应用仍存在诸多问题，例如指令遵循失败、计算资源需求高，以及在适应前难以准确评估性能等。为缓解上述问题，我们提出了一种新颖的框架——基于可靠性的课程学习（Reliability-based Curriculum Learning, RCL），该框架通过伪标签机制，协同多个MLLM实现对目标域知识的高效挖掘。RCL框架融合了三项核心技术：可靠知识迁移、自校正与MLLM引导的知识扩展，以及多热掩码精炼，从而逐步挖掘并利用目标域中的未标注数据。实验结果表明，RCL在多个SFDA基准测试中均取得了当前最优（SOTA）性能，例如在DomainNet数据集上提升了9.4%，充分验证了其在不依赖源数据的前提下，显著增强模型适应性与鲁棒性的能力。相关代码已开源，访问地址为：https://github.com/Dong-Jie-Chen/RCL。