فك قفل التصنيف الصور بدقة عالية مع الحفاظ على الخصوصية التفاضلية من خلال المقياس

الخصوصية التفاضلية (DP) تقدم ضمانًا رسميًا للخصوصية يمنع الأطراف المعادية التي لديها وصول إلى نموذج التعلم الآلي من استخراج معلومات حول نقاط التدريب الفردية. يعد التدرج العشوائي التفاضلي الخصوصي (DP-SGD)، وهو أكثر طرق التدريب الخصوصي شيوعًا في التعلم العميق، أداة لتحقيق هذه الحماية بإضافة الضوضاء أثناء عملية التدريب. ومع ذلك، فقد أظهرت الدراسات السابقة أن DP-SGD غالبًا ما يؤدي إلى تدهور كبير في الأداء على مقاييس تصنيف الصور القياسية. علاوة على ذلك، افترض بعض الباحثين أن DP-SGD يُؤدي بشكل ضعيف بطبيعته على النماذج الكبيرة، حيث تكون مقدار الضوضاء المطلوبة لحفظ الخصوصية متناسبة مع بُعد النموذج. بالمقابل، نحن نثبت أن DP-SGD يمكن أن يؤدي بشكل أفضل بكثير مما كان يُعتقد سابقًا عند استخدامه في النماذج ذات المعلمة الزائدة. من خلال الجمع بين ضبط المعايير الفائقة بدقة وتقنيات بسيطة لضمان انتشار الإشارة وتحسين معدل التقريب، نحقق مستوى جديدًا غير مسبوق (SOTA) بدون بيانات إضافية على CIFAR-10 بنسبة دقة 81.4% تحت خصوصية تفاضلية (8, 10^{-5}) باستخدام شبكة ResNet ذات 40 طبقة واسعة. عند تعديل شبكة NFNet-F3 المدربة مسبقًا، نحقق دقة فائقة تبلغ 83.8% في تصنيف الصور الأولى على ImageNet تحت خصوصية تفاضلية (0.5, 8 \cdot 10^{-7}). بالإضافة إلى ذلك، نحن أيضًا نحقق دقة تصنيف الصور الأولى بنسبة 86.7% تحت خصوصية تفاضلية (8, 8 \cdot 10^{-7})، وهي نسبة لا تتجاوز 4.3% أقل من المستوى غير المسبوق الحالي غير الخصوصي لهذه المهمة. نعتقد أن نتائجنا تمثل خطوة كبيرة نحو تقليص الفجوة بين الدقة في تصنيف الصور الخصوصي وغير الخصوصي.