HyperAIHyperAI

Command Palette

Search for a command to run...

SmoothNets: تحسين تصميم هندسة CNN للتعلم العميق مع الخصوصية التفاضلية

Remerscheid Nicolas W. ; Ziller Alexander ; Rueckert Daniel ; Kaissis Georgios

الملخص

الخوارزمية الأكثر استخدامًا على الأرجح لتدريب الشبكات العصبية العميقة مع الخصوصية التفاضلية هي DPSGD، والتي تتطلب قص (clipping) وإضافة ضوضاء (noising) إلى التدرجات لكل عينة. هذا يُدخل تقليلًا في فائدة النموذج مقارنة بالتدريب غير الخاص. من خلال التجارب، يمكن ملاحظة أن هذا الانخفاض في الدقة يعتمد بشكل كبير على هندسة النموذج. قدمنا بحثًا حول هذه الظاهرة، وبواسطة الجمع بين المكونات التي تظهر أداءً جيدًا بشكل فردي، تم استخلاص هندسة نموذج جديدة تُسمى SmoothNet، والتي يتميز بزيادة متانته أمام تحديات التدريب باستخدام DP-SGD. تجريبيًا، قمنا بتقييم SmoothNet مقابل الهياكل القياسية على مجموعتين من البيانات القياسية ولاحظنا أن هندستنا تتفوق على الأخرى، حيث بلغت دقتها 73.5٪ على CIFAR-10 عند ε=7.0\varepsilon=7.0ε=7.0 و69.2٪ عند ε=7.0\varepsilon=7.0ε=7.0 على ImageNette، وهي نتيجة رائدة مقارنة بالتعديلات الهندسية السابقة للخصوصية التفاضلية (DP).


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
SmoothNets: تحسين تصميم هندسة CNN للتعلم العميق مع الخصوصية التفاضلية | مستندات | HyperAI