8日前

ソースフリー・ドメイン適応をMLLMガイド付き信頼性ベースのカリキュラム学習によって強化する

Dongjie Chen, Kartik Patwari, Zhengfeng Lai, Xiaoguang Zhu, Sen-ching Cheung, Chen-Nee Chuah
ソースフリー・ドメイン適応をMLLMガイド付き信頼性ベースのカリキュラム学習によって強化する
要約

無元ドメイン適応(Source-Free Domain Adaptation, SFDA)は、教師なしのターゲットドメインデータのみを用いて、事前に学習されたソースモデルをターゲットドメインに適応させる手法を目的としている。現在のSFDA手法は、事前学習された知識を効果的に活用する点や、ターゲットドメインデータの有効な活用に課題を抱えている。マルチモーダル大規模言語モデル(Multimodal Large Language Models, MLLMs)は視覚的およびテキスト情報の理解において優れた能力を示すが、SFDAへの適用には、指示に従わない現象(instruction-following failure)、高負荷な計算コスト、適応前の性能評価の困難さといった課題が伴う。これらの問題を軽減するために、本研究では、SFDAにおける疑似ラベル化を介して複数のMLLMを統合し、知識を効果的に活用する新たなフレームワーク「信頼性に基づくカリキュラム学習(Reliability-based Curriculum Learning, RCL)」を提案する。本フレームワークは、信頼性のある知識転送、自己修正およびMLLM誘導型知識拡張、マルチホットマスキングの精緻化の3つのモジュールを組み合わせることで、ターゲットドメインの教師なしデータを段階的に有効に活用する。RCLは、複数のSFDAベンチマークにおいて最先端(SOTA)の性能を達成しており、特にDomainNetでは+9.4%の性能向上を実現し、ソースデータにアクセスせずに適応性とロバスト性を著しく向上させることの有効性を示している。本研究のコードは以下のURLから公開されている:https://github.com/Dong-Jie-Chen/RCL。