HyperAIHyperAI

Command Palette

Search for a command to run...

نموذج راتاتوي: إعادة تدوير النماذج المتنوعة لتحقيق التعميم خارج التوزيع

Alexandre Ramé Kartik Ahuja Jianyu Zhang Matthieu Cord Léon Bottou David Lopez-Paz

الملخص

تُعيد النماذج الأساسية إعادة تعريف طريقة بناء أنظمة الذكاء الاصطناعي. فاليوم، يتبع الممارسون إجراءً قياسيًا لبناء حلول التعلم الآلي: بدءًا من نموذج أساسي تم تدريبه مسبقًا، يتم تحسين أوزانه على المهمة المستهدفة. ونتيجة لذلك، أصبح الإنترنت مليئًا بعدد قليل من النماذج الأساسية التي تم تحسينها على مهام متنوعة جدًا: حيث توجد هذه التحسينات الفردية منفصلة عن بعضها البعض، دون أن تستفيد من بعضها البعض. في رأينا، يُعد هذا فرصة ضائعة، إذ تحتوي هذه النماذج المتخصصة على سمات غنية ومتنوعة. ولذلك، نقترح في هذه الورقة استراتيجية جديدة تُسمى "موديل راتاتويا" (Model Ratatouille)، وهي استراتيجية لاسترداد التحسينات المتعددة لنفس النموذج الأساسي على مهام مساعدة متنوعة. وبشكل محدد، نعيد استخدام هذه الأوزان المساعدة كمُبَدِّئات (Initializations) لتحسينات متعددة بالتوازي على المهمة المستهدفة؛ ثم نقوم بمتوسط جميع الأوزان المحسّنة للحصول على النموذج النهائي. وتهدف هذه الاستراتيجية إلى تحقيق أقصى قدر من التنوّع في الأوزان من خلال الاستفادة من التنوّع في المهام المساعدة. وتجدر الإشارة إلى أن التجارب العملية أظهرت تحسينًا في الحالة الراهنة من حيث الأداء على معيار DomainBed المرجعي الخاص بالتعميم خارج التوزيع (out-of-distribution generalization). Looking forward، تُسهم هذه الدراسة في تشكيل نمط مُستقبلي مُتّسِع في التعلم الآلي القابل للتحديث، حيث يشبه هذا النمط تطوير البرمجيات مفتوحة المصدر، إذ يتعاون المجتمع لتحسين نماذج التعلم الآلي بشكل موثوق. تم إصدار الشفرة المصدرية للعمل: https://github.com/facebookresearch/ModelRatatouille.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp