HyperAIHyperAI
منذ 2 أشهر

المنحنى الميتا

Eunbyung Park; Junier B. Oliva
المنحنى الميتا
الملخص

نقترح إطارًا جديدًا يُعرف بالانحناءة الميتا (MC)، وهو إطار لتعلم معلومات الانحناءة لتحقيق تعميم أفضل وتكيف سريع للنموذج. يتم توسيع هذا الإطار على أساس المتعلم الميتا غير المرتبط بالنموذج (MAML) من خلال تعلم تحويل التدرجات في عملية التحسين الداخلية بحيث تحقق التدرجات المحولة أداءً أفضل في التعميم إلى مهمة جديدة. بالنسبة لتدريب شبكات العصبونات ذات الحجم الكبير، نقوم بتفكيك مصفوفة الانحناءة إلى مصفوفات أصغر في نظام جديد حيث نلتقط اعتمادات معلمات النموذج باستخدام سلسلة من ضرب الأ텐سور. نوضح آثار الطريقة المقترحة في عدة مهام وقواعد بيانات للتعلم القليل الطلقات. دون استخدام أي تقنيات أو هياكل خاصة بالمهمة، تحقق الطريقة المقترحة تحسنًا كبيرًا على المتغيرات السابقة لمتعلم MAML وتتفوق على الطرق الحديثة الأكثر تقدمًا. علاوة على ذلك، نلاحظ معدلات تقارب أسرع لعملية التدريب الميتا. وأخيرًا، نقدم تحليلًا يفسر الأداء الأفضل في التعميم باستخدام الانحناءة التي تم تدريبها بشكل ميتا.