Mithilfe von MLLM-gesteuerter zuverlässigkeitsbasierter Curriculum-Lernstrategie zur Stärkung der quellfreien Domänenanpassung

Source-Free Domain Adaptation (SFDA) zielt darauf ab, ein vortrainiertes Quellmodell unter Verwendung ausschließlich unlabeled Ziel-Daten an eine Ziel-Domäne anzupassen. Aktuelle SFDA-Methoden stoßen bei der effektiven Nutzung vortrainierter Kenntnisse und der Ausnutzung von Ziel-Domänen-Daten auf erhebliche Herausforderungen. Multimodale große Sprachmodelle (MLLMs) verfügen über bemerkenswerte Fähigkeiten zur Verarbeitung visueller und textueller Informationen, ihre Anwendbarkeit in SFDA birgt jedoch Probleme wie Fehlschläge beim Ausführen von Anweisungen, hohe Rechenanforderungen und Schwierigkeiten bei der Leistungsmessung vor der Adaptation. Um diese Probleme zu mindern, schlagen wir $\textbf{Reliability-based Curriculum Learning (RCL)}$ vor – einen neuartigen Rahmen, der mehrere MLLMs integriert, um Wissen durch Pseudolabeling in SFDA auszunutzen. Unser Ansatz beinhaltet zuverlässiges Wissenstransfer, selbstkorrigierendes und MLLM-gesteuertes Wissenserweiterung sowie Multi-hot-Masking-Verfeinerung, um schrittweise unlabeled Daten in der Ziel-Domäne effektiv auszunutzen. RCL erreicht Stand der Technik (SOTA)-Leistungen auf mehreren SFDA-Benchmarks, beispielsweise $\textbf{+9,4\%}$ auf DomainNet, und demonstriert somit seine Wirksamkeit bei der Verbesserung der Anpassungsfähigkeit und Robustheit – ohne dass Zugriff auf Quelldaten erforderlich ist. Der Quellcode ist unter folgender URL verfügbar: https://github.com/Dong-Jie-Chen/RCL.