التعلم المتعدد مع المشتقات الضمنية

إن القدرة الأساسية للأنظمة الذكية هي القدرة على تعلّم مهام جديدة بسرعة من خلال الاستفادة من الخبرة السابقة. وقد ظهر مؤخرًا التعلّم الميتا القائم على التدرج (أو التحسين) كنهج فعّال للتعلّم بعينات قليلة. في هذا الإطار، يتم تعلّم المعاملات الميتا في الحلقة الخارجية، بينما يتم تعلّم النماذج المخصصة للمهام في الحلقة الداخلية، باستخدام كمية صغيرة جدًا من البيانات الخاصة بالمهام الحالية. ويُعدّ التحدي الرئيسي في توسيع نطاق هذه النهج هو الحاجة إلى التمايز عبر عملية التعلّم في الحلقة الداخلية، وهي ما قد يفرض أعباءً كبيرة على الحوسبة والذاكرة. وباستخدام التمايز الضمني، نطور خوارزمية MAML الضمنية، التي تعتمد فقط على الحل للتحسين على المستوى الداخلي، وليس على المسار الذي يتبعه المُحسّن في الحلقة الداخلية. وهذا يُفكّك فعليًا حساب المتجه الميتا من اختيار مُحسّن الحلقة الداخلية. ونتيجة لذلك، تكون طريقة عملنا غير حساسة لاختيار مُحسّن الحلقة الداخلية، ويمكنها التعامل بسلاسة مع عدد كبير من خطوات التدرج دون التعرض لاختفاء التدرجات أو قيود الذاكرة. من الناحية النظرية، نثبت أن MAML الضمنية يمكنها حساب متجهات ميتا دقيقة بحجم ذاكرة لا يتجاوز، بعامل ثابت صغير، الحد الأقصى المطلوب لحساب تدرج واحد في الحلقة الداخلية، دون أي زيادة إجمالية في التكلفة الحسابية. من الناحية التجريبية، نُظهر أن هذه المزايا تترجم إلى مكاسب تجريبية في مهام التعرف على الصور بعينات قليلة.