Command Palette
Search for a command to run...
اقسم ولا تنسَ: تجميع خبراء مدرَّبين بشكل انتقائي في التعلم المستمر
اقسم ولا تنسَ: تجميع خبراء مدرَّبين بشكل انتقائي في التعلم المستمر
Grzegorz Rypeść Sebastian Cygert Valeriya Khan Tomasz Trzciński Bartosz Zieliński Bartłomiej Twardowski
الملخص
تُكتسب التعلم التدرجي حسب الفئة شعبية متزايدة لأنه يساعد النماذج على توسيع نطاق تطبيقاتها دون نسيان ما تعلّمته سابقًا. ويشهد هذا المجال اتجاهًا متمثلًا في استخدام تقنية "مزيج الخبراء"، حيث تعمل نماذج مختلفة معًا لحل المهمة. ومع ذلك، فإن الخبراء عادة ما يُدرّسون معًا دفعة واحدة باستخدام بيانات المهمة الكاملة، ما يجعلهم جميعًا عرضة للنسيان ويزيد من العبء الحسابي. لمعالجة هذه القيود، نقدّم منهجية جديدة تُسمى SEED. تقوم SEED باختيار خبير واحد فقط، وهو الخبير الأمثل لمهام معينة، ثم تُعدّل هذا الخبير فقط باستخدام بيانات هذه المهمة. ولتحقيق ذلك، يُمثّل كل خبير فئة معينة باستخدام توزيع غاوسي، ويتم اختيار الخبير الأمثل بناءً على تشابه هذه التوزيعات. ونتيجة لذلك، تزيد SEED من التنوّع والتنوع بين الخبراء مع الحفاظ على الاستقرار العالي لطريقة التجميع هذه. تُظهر التجارب الواسعة أن SEED تحقق أداءً يُعدّ من أفضل الأداء في البيئات الخالية من الأمثلة عبر سيناريوهات متنوعة، مما يُبرز إمكانات تنويع الخبراء من خلال البيانات في التعلم المستمر.