HyperAIHyperAI
منذ 17 أيام

نهج تطوري لإدخال المهام الديناميكية في أنظمة التعلم المتعدد على نطاق واسع

Andrea Gesmundo, Jeff Dean
نهج تطوري لإدخال المهام الديناميكية في أنظمة التعلم المتعدد على نطاق واسع
الملخص

يُفترض في التعلم متعدد المهام أن النماذج القادرة على التعلم من مهام متعددة يمكنها تحقيق جودة وكفاءة أفضل من خلال نقل المعرفة، وهي سمة رئيسية للتعلم البشري. ومع ذلك، تعتمد النماذج الحديثة للتعلم الآلي على تخصيص عالي لكل مهمة، وتعتمد على الحجم والمقاييس الكبيرة للبيانات بدلًا من التوسع في عدد المهام. كما أن التعلم المستمر، الذي يُضيف بعد الزمن إلى التعلم متعدد المهام، يُركّز غالبًا على دراسة العيوب الشائعة مثل النسيان الكارثي، بدلاً من دراسته على نطاق واسع باعتباره عنصرًا حاسمًا في بناء الذكاء الاصطناعي الجيل التالي. نقترح منهجًا تطوريًا قادرًا على إنتاج نماذج متعددة المهام على نطاق واسع، تدعم إضافة ديناميكية لمهمات جديدة. وتتميز النماذج المتعددة المهام المُنتَجة بتفعيلها النادر، وتُدمج تقنية توجيه مبنية على المهمة، مما يضمن تكلفة حسابية محدودة وعددًا أقل من المعاملات المُضافة لكل مهمة مع توسع النموذج. ويعتمد المنهج المقترح على تقنية فصل المعرفة لتحقيق مناعة ضد النسيان الكارثي والعوائق الشائعة الأخرى مثل التداخل في التدرج ونقل المعرفة السلبي. ونُظهر تجريبيًا أن المنهج المقترح قادر على حل 69 مهمة تصنيف صور عامة بشكل مشترك، وتحقيق نتائج تنافسية، مثلاً، بتحقيق خفض نسبي في الخطأ بنسبة 15٪ مقارنة بأفضل نموذج تم تدريبه على بيانات عامة في معيار تنافسي مثل CIFAR10.

نهج تطوري لإدخال المهام الديناميكية في أنظمة التعلم المتعدد على نطاق واسع | أحدث الأوراق البحثية | HyperAI