نموذج راتاتوي: إعادة تدوير النماذج المتنوعة لتحقيق التعميم خارج التوزيع

تُعيد النماذج الأساسية إعادة تعريف طريقة بناء أنظمة الذكاء الاصطناعي. فاليوم، يتبع الممارسون إجراءً قياسيًا لبناء حلول التعلم الآلي: بدءًا من نموذج أساسي تم تدريبه مسبقًا، يتم تحسين أوزانه على المهمة المستهدفة. ونتيجة لذلك، أصبح الإنترنت مليئًا بعدد قليل من النماذج الأساسية التي تم تحسينها على مهام متنوعة جدًا: حيث توجد هذه التحسينات الفردية منفصلة عن بعضها البعض، دون أن تستفيد من بعضها البعض. في رأينا، يُعد هذا فرصة ضائعة، إذ تحتوي هذه النماذج المتخصصة على سمات غنية ومتنوعة. ولذلك، نقترح في هذه الورقة استراتيجية جديدة تُسمى "موديل راتاتويا" (Model Ratatouille)، وهي استراتيجية لاسترداد التحسينات المتعددة لنفس النموذج الأساسي على مهام مساعدة متنوعة. وبشكل محدد، نعيد استخدام هذه الأوزان المساعدة كمُبَدِّئات (Initializations) لتحسينات متعددة بالتوازي على المهمة المستهدفة؛ ثم نقوم بمتوسط جميع الأوزان المحسّنة للحصول على النموذج النهائي. وتهدف هذه الاستراتيجية إلى تحقيق أقصى قدر من التنوّع في الأوزان من خلال الاستفادة من التنوّع في المهام المساعدة. وتجدر الإشارة إلى أن التجارب العملية أظهرت تحسينًا في الحالة الراهنة من حيث الأداء على معيار DomainBed المرجعي الخاص بالتعميم خارج التوزيع (out-of-distribution generalization). Looking forward، تُسهم هذه الدراسة في تشكيل نمط مُستقبلي مُتّسِع في التعلم الآلي القابل للتحديث، حيث يشبه هذا النمط تطوير البرمجيات مفتوحة المصدر، إذ يتعاون المجتمع لتحسين نماذج التعلم الآلي بشكل موثوق. تم إصدار الشفرة المصدرية للعمل: https://github.com/facebookresearch/ModelRatatouille.