مزيج ديناميكي من خبراء المناهج الدراسية LoRA

المزيج الديناميكي لخبراء تحليل المناهج (D-MoLE) هو أسلوب جديد مُصمم للضبط الدقيق المستمر للتعليم متعدد الوسائط، اقترحه فريق أمن المحتوى التفاعلي التابع لقسم الأمن بمجموعة علي بابا وجامعة تسينغهوا في 13 يونيو 2025. يهدف هذا الأسلوب إلى تمكين نموذج اللغة الكبير متعدد الوسائط (MLLM) من التكيف المستمر مع المهام الجديدة مع الحفاظ على المعرفة الحالية بفعالية ضمن ميزانية محدودة. نتائج البحث ذات الصلة هي:مزيج ديناميكي من خبراء LoRA في المناهج الدراسية لضبط التعليم المتعدد الوسائط المستمر"، وقد تم تضمين الورقة في ICML 2025.

يجمع نموذج D-MoLE بين مفهومي LoRa ومزيج الخبراء (MoE)، ويُقدّم آليةً لتعلم المناهج الدراسية. يختار النموذج وحدات LoRa المختلفة ويجمعها ديناميكيًا للتكيف مع المهام الجديدة مع تقليل التداخل مع المعرفة الحالية. تُظهر التجارب المكثفة أن نموذج D-MoLE يتفوق بشكل ملحوظ على أحدث نماذج خط الأساس، محققًا تحسنًا متوسطًا قدره 15% مقارنةً بأفضل نموذج أساسي. تُعد هذه أول دراسة للتعلم المستمر في نماذج MLLM من منظور معماري.