Renforcement de l'adaptation de domaine sans source par apprentissage progressif fondé sur la fiabilité guidé par MLLM

L’adaptation de domaine sans source (Source-Free Domain Adaptation, SFDA) vise à adapter un modèle pré-entraîné sur une source à un domaine cible en n’utilisant que des données cibles non étiquetées. Les méthodes actuelles de SFDA rencontrent des difficultés pour exploiter efficacement les connaissances pré-entraînées et tirer parti des données du domaine cible. Les modèles linguistiques massifs multimodaux (Multimodal Large Language Models, MLLM) offrent des capacités remarquables en compréhension de l’information visuelle et textuelle, mais leur application à la SFDA soulève des défis tels que des échecs dans le suivi d’instructions, des exigences computationnelles élevées et des difficultés à évaluer les performances avant l’adaptation. Pour atténuer ces problèmes, nous proposons $\textbf{Reliability-based Curriculum Learning (RCL)}$, un cadre novateur qui intègre plusieurs MLLM pour exploiter les connaissances via une pseudo-étiquetage dans le cadre de la SFDA. Notre cadre inclut trois composantes clés : un transfert de connaissances fiable, une auto-correction combinée à une expansion des connaissances guidée par les MLLM, ainsi qu’un raffinement par masque multi-chaud, permettant une exploitation progressive des données non étiquetées du domaine cible. RCL atteint des performances de pointe (SOTA) sur plusieurs benchmarks de SFDA, par exemple une amélioration de $\textbf{+9,4\%}$ sur DomainNet, démontrant ainsi son efficacité à renforcer l’adaptabilité et la robustesse, sans nécessiter l’accès aux données sources. Le code est disponible à l’adresse suivante : https://github.com/Dong-Jie-Chen/RCL.