SmoothNets: تحسين تصميم هندسة CNN للتعلم العميق مع الخصوصية التفاضلية

الخوارزمية الأكثر استخدامًا على الأرجح لتدريب الشبكات العصبية العميقة مع الخصوصية التفاضلية هي DPSGD، والتي تتطلب قص (clipping) وإضافة ضوضاء (noising) إلى التدرجات لكل عينة. هذا يُدخل تقليلًا في فائدة النموذج مقارنة بالتدريب غير الخاص. من خلال التجارب، يمكن ملاحظة أن هذا الانخفاض في الدقة يعتمد بشكل كبير على هندسة النموذج. قدمنا بحثًا حول هذه الظاهرة، وبواسطة الجمع بين المكونات التي تظهر أداءً جيدًا بشكل فردي، تم استخلاص هندسة نموذج جديدة تُسمى SmoothNet، والتي يتميز بزيادة متانته أمام تحديات التدريب باستخدام DP-SGD. تجريبيًا، قمنا بتقييم SmoothNet مقابل الهياكل القياسية على مجموعتين من البيانات القياسية ولاحظنا أن هندستنا تتفوق على الأخرى، حيث بلغت دقتها 73.5٪ على CIFAR-10 عند $\varepsilon=7.0$ و69.2٪ عند $\varepsilon=7.0$ على ImageNette، وهي نتيجة رائدة مقارنة بالتعديلات الهندسية السابقة للخصوصية التفاضلية (DP).