التعلم التكاملي المُخصص باستخدام العمليات الغاوسيّة

يهدف التعلم المُتَّفَق عليه (Federated Learning) إلى تعلُّم نموذج عالمي يُظهر أداءً جيدًا على أجهزة العملاء مع تقليل الاتصال بين العملاء. يمتد التعلم المُتَّفَق عليه المُخصَّص (Personalized Federated Learning - PFL) إلى هذا الإطار لمعالجة التباين في البيانات بين العملاء من خلال تعلُّم نماذج مخصصة لكل عميل. وتشكل التحديات الرئيسية في هذا السياق تعلُّم نماذج فعّالة عبر العملاء، رغم أن كل عميل يمتلك بيانات فريدة غالبًا ما تكون محدودة الحجم. في هذا العمل، نقدّم pFedGP، وهو حل لـ PFL يستند إلى العمليات الغاوسية (Gaussian Processes - GPs) مع تعلُّم النواة العميقة (Deep Kernel Learning). تُعد العمليات الغاوسية نماذج قوية التعبير، وتُظهر أداءً جيدًا في بيئات البيانات المنخفضة بفضل طبيعتها البايزية. ومع ذلك، فإن تطبيق العمليات الغاوسية في سياق PFL يثير عدة تحديات. فالأداء الفعلي للعمليات الغاوسية يعتمد بشكل كبير على توفر دالة نواة جيدة، وتعلُّم دالة نواة يتطلب مجموعة تدريب كبيرة. ولذلك، نقترح تعلُّم دالة نواة مشتركة بين جميع العملاء، وتُمثّل باستخدام شبكة عصبية، مع فئة تصنيف غاوسية شخصية لكل عميل. ونُوسِّع pFedGP لتشمل نقاط الاستدلال (inducing points) باستخدام طريقتين جديدتين: الأولى تُحسّن التعميم في بيئات البيانات المنخفضة، والثانية تقلل التكلفة الحسابية. كما نُشتق حدًا لعامليّة التعميم بنظام PAC-Bayes لعملاء جدد، ونُظهر تجريبيًا أن هذا الحد يُقدّم ضمانات غير تافهة. أظهرت تجارب واسعة على معايير PFL القياسية باستخدام بيانات CIFAR-10 وCIFAR-100 وCINIC-10، وكذلك على بيئة جديدة لتعلُّم تحت ضوضاء المدخلات، أن pFedGP يُحقّق تنبؤات مُتَوَزَّنة جيدًا، ويتفوّق بشكل كبير على الطرق الأساسية، مع تحقيق مكاسب في الدقة تصل إلى 21%.