カリキュラムLoRAエキスパートのダイナミックミックス

ダイナミック・ミクスチャー・オブ・カリキュラムLoRAエキスパート（D-MoLE）は、アリババグループセキュリティ部門のインタラクティブコンテンツセキュリティチームと清華大学によって2025年6月13日に提案された、マルチモーダル教育の継続的な微調整のために設計された新しい手法です。この手法は、限られたパラメータ予算内で、マルチモーダル大規模言語モデル（MLLM）が既存の知識を効果的に保持しながら、新しいタスクに継続的に適応できるようにすることを目的としています。関連論文の結果は次のとおりです。継続的なマルチモーダル指導の調整のためのカリキュラム LoRA 専門家の動的な混合」の論文がICML 2025に掲載されました。

D-MoLEは、LoRaとMixture of Experts（MoE）の概念を組み合わせ、カリキュラム学習メカニズムを導入します。既存の知識への干渉を最小限に抑えながら、異なるLoRaモジュールを動的に選択・組み合わせることで、新しいタスクに適応します。広範な実験により、D-MoLEは最先端のベースラインモデルを大幅に上回り、最良のベースラインモデルと比較して平均15%の改善を達成することが実証されています。これは、MLLMにおける継続学習をアーキテクチャの観点から研究した初の事例です。