الوصول إلى الاتصال الخالي من الأبعاد في التعلم الموحد من خلال التحسين من الرتبة الصفرية

يُعد التعلم المُتَّفِق (Federated Learning - FL) إطارًا واعدًا للتعلم الآلي التعاونية والحفاظ على الخصوصية عبر مصادر بيانات موزعة. ومع ذلك، فإن التكاليف الاتصالية الكبيرة المرتبطة بـ FL تشكل تحديًا كبيرًا لفعالية النظام. وبالتحديد، في كل جولة اتصال، تزداد تكاليف الاتصال بشكل خطي بالنسبة لبعد النموذج، مما يُشكل عقبة كبيرة، خصوصًا في سيناريوهات النماذج الكبيرة. وعلى الرغم من وجود استراتيجيات متنوعة لتحسين الكفاءة الاتصالية، تظل التكلفة الاتصالية المتأصلة التي تعتمد على البعد عقبة رئيسية أمام تنفيذ FL الحالي. يُقدّم هذا البحث خوارزمية اتصال جديدة لا تعتمد على البعد – تُسمى DeComFL – والتي تستخدم تقنيات التحسين من الدرجة الصفرية، وتقلل من تكلفة الاتصال من $\mathscr{O}(d)$ إلى $\mathscr{O}(1)$ من خلال نقل عدد ثابت من القيم العددية بين العقد والخادم في كل جولة، بغض النظر عن بعد معلمات النموذج $d$. من الناحية النظرية، في الدوال غير المحدبة، نُثبت أن خوارزميتنا تحقق معدلات متقدمة جدًا، وتُظهر تسريعًا خطيًا بالنسبة لعدد العقد والخطوات المحلية تحت افتراضات قياسية. وبإضافة افتراض منخفض الرتبة الفعالة، يمكننا أيضًا إثبات أن معدل التقارب لا يعتمد على البعد $d$ للنموذج. أظهرت التقييمات التجريبية، التي شملت تدريب الشبكات العصبية العميقة التقليدية وتحسين نماذج اللغة الكبيرة، تخفيضًا كبيرًا في حمل الاتصال. وبشكل لافت، تحقق DeComFL هذا الأداء من خلال نقل ما يقارب 1 ميغابايت من البيانات فقط بين الخادم والعميل لتحسين نموذج يحتوي على مليارات المعلمات. يمكن الوصول إلى الكود الخاص بنا عبر الرابط: https://github.com/ZidongLiu/DeComFL.