التعلم الميتا مع مُعدّل مُعدّل حسب الهندسة

يُعد التعلم التلخيصي القائم على النموذج (MAML) أحد أكثر خوارزميات التعلم التلخيصي نجاحًا. ويتميز ببنية تحسين ثنائية المستوى، حيث يتعلم المستوى الخارجي تهيئة مشتركة، بينما يُحسّن المستوى الداخلي المعاملات الخاصة بكل مهمة. وعلى الرغم من اعتماد MAML على الانحدار القياسي للتفاضل في المستوى الداخلي، أظهرت دراسات حديثة أن التحكم في عملية الانحدار التفاضلي في المستوى الداخلي باستخدام مُعدّل مُتعلم تلخيصيًا يمكن أن يكون مفيدًا. ومع ذلك، لا تتمكن المُعدّلات الحالية من التكيف في آنٍ واحد بطريقة تعتمد على المهمة وتعتمد على المسار. علاوةً على ذلك، لا تحقق هذه المُعدّلات شرط القياس الريمانية، والذي يمكن أن يُمكّن من تعلم الانحدار الأكثر تَعَدّيًا باستخدام المتجهات المُعدّلة. في هذه الدراسة، نقترح خوارزمية الانحدار التفاضلي المُعدّل حسب الهندسة (GAP)، التي تُعوّض عن هذه القيود في MAML؛ حيث يمكن لـ GAP أن تتعلم تلخيصيًا بفعالية مُعدّلًا يعتمد على المعاملات الخاصة بكل مهمة، ويمكن إثبات أن هذا المُعدّل يُحقق شرط القياس الريمانية. وبفضل هاتين الخاصيتين، يكون المُعدّل المُتكيف مع الهيكل الهندسي فعّالًا في تحسين التحسين داخل المستوى الداخلي. وأظهرت نتائج التجارب أن GAP تتفوّق على أحدث إصدارات عائلة MAML، وكذلك على عائلة MAML المُعدّلة بالانحدار التفاضلي (PGD-MAML) في مجموعة متنوعة من مهام التعلم القليل (few-shot learning). يُمكن الوصول إلى الكود عبر: https://github.com/Suhyun777/CVPR23-GAP.