AdaBest: تقليل الانحراف العميل في التعلم الموحد من خلال تقدير الانحياز التكيفي

في التعلم المندمج (FL)، يتعاون عدد من العملاء أو الأجهزة لتدريب نموذج دون مشاركة بياناتهم. يتم تحسين النماذج محليًا على كل عميل، ثم تُرسل إلى مركز مركزي لإجراء التجميع. وعلى الرغم من أن FL يُعد نموذجًا تدريبيًا لامركزيًا جذابًا، إلا أن التباين بين البيانات من العملاء المختلفة قد يؤدي إلى انحراف التحسين المحلي عن الهدف العالمي. ولتقدير هذا الانحراف وإزالة تأثيره، تم مؤخرًا دمج تقنيات تقليل التباين في تحسين FL. ومع ذلك، فإن هذه النهج تُقدّر انحراف العملاء بشكل غير دقيق، مما يؤدي في النهاية إلى فشلها في إزالة الانحراف بشكل صحيح. في هذا العمل، نقترح خوارزمية متكيفة تُقدّر انحراف العملاء بدقة. مقارنةً بالدراسات السابقة، تتطلب طريقةنا أقل حجم تخزين وعرض نطاق تردّد اتصال، كما أن تكاليف الحوسبة فيها أقل. علاوةً على ذلك، فإن منهجيتنا المُقترحة تعزز الاستقرار من خلال قيد مقدار تقديرات انحراف العملاء، مما يجعلها أكثر ملاءمة للتطبيقات الكبيرة في التعلم المندمج. وأظهرت النتائج التجريبية أن الخوارزمية المقترحة تتحوّل بشكل أسرع بكثير وتُحقّق دقة أعلى من النماذج الأساسية عبر مختلف معايير التعلم المندمج.