커리큘럼 LoRA 전문가의 역동적인 혼합

커리큘럼 LoRA 전문가의 동적 혼합(Dynamic Mixture of Curriculum LoRA Experts, D-MoLE)은 알리바바 그룹 보안부 인터랙티브 콘텐츠 보안팀과 칭화대학교가 2025년 6월 13일 제안한 지속적인 다중 모드 학습 미세 조정을 위해 설계된 새로운 방법입니다. 이 방법은 다중 모드 대규모 언어 모델(MLLM)이 제한된 매개변수 예산 내에서 기존 지식을 효과적으로 유지하면서 새로운 작업에 지속적으로 적응할 수 있도록 하는 것을 목표로 합니다. 관련 논문 결과는 다음과 같습니다.지속적인 다중 모드 교육 조정을 위한 커리큘럼 LoRA 전문가의 역동적인 혼합", 해당 논문은 ICML 2025에 포함되었습니다.

D-MoLE은 LoRa와 전문가 혼합(MoE)의 개념을 결합하고 커리큘럼 학습 메커니즘을 도입합니다. 다양한 LoRa 모듈을 동적으로 선택하고 결합하여 새로운 작업에 적응하는 동시에 기존 지식에 대한 간섭을 최소화합니다. 광범위한 실험을 통해 D-MoLE이 최첨단 베이스라인 모델보다 훨씬 우수한 성능을 보이며, 최고 베이스라인 대비 평균 15%의 성능 향상을 달성함을 입증했습니다. 본 연구는 구조적 관점에서 MLLM의 연속 학습을 연구한 최초의 연구입니다.