HyperAIHyperAI

Command Palette

Search for a command to run...

ربط الفضاء الجزئي منخفض الخسارة للتعلم التجميعي المخصص

Seok-Ju Hahn Minwoo Jeong Junghye Lee

الملخص

بسبب لعنة التباين الإحصائي بين العملاء، أصبح اعتماد طريقة تعلم مركزي شخصية (Personalized Federated Learning) خيارًا أساسيًا لضمان نجاح تطبيق خدمات تعتمد على التعلم المركزي. من بين الفروع المختلفة لتقنيات التخصيص، تُفضَّل الطريقة القائمة على مزيج النماذج (Model Mixture-based Personalization)، حيث يحصل كل عميل على نموذج شخصي خاص به نتيجة لعملية التعلم المركزي. وعادةً ما تتطلب هذه الطريقة وجود نموذج محلي ونموذج مركزي، لكن هذه الطريقة إما محدودة بتبادل جزئي للبارامترات، أو تتطلب تحديثات إضافية محلية، وكلتا الحالتين لا تفيد العملاء الجدد، وتفاقم الأعباء على قدرة العميل الحسابية. وبما أن وجود فضاء فرعي متصل يحتوي على حلول منخفضة الخسارة متنوعة بين شبكتين عميقتين مستقلتين قد تم اكتشافه حديثًا، فقد قمنا بدمج هذه الخاصية المثيرة مع طريقة التخصيص القائمة على مزيج النماذج في التعلم المركزي الشخصي، بهدف تحسين أداء التخصيص. وقد قدمنا SuPerFed، وهي طريقة تعلم مركزي شخصية تُنشئ ارتباطًا صريحًا بين نقاط التحسين (optima) للنموذج المحلي والنموذج المركزي في فضاء المعاملات (Weight Space)، مما يعزز تكامل وتحسن كل من النموذجين. وقد أظهرت تجارب واسعة على عدة مجموعات بيانات معيارية أن طريقة العمل لدينا تحقق مكاسب مستمرة في أداء التخصيص ومقاومة السيناريوهات الصعبة التي قد تحدث في الخدمات الواقعية.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp