HyperAIHyperAI

Command Palette

Search for a command to run...

فك قفل التصنيف الصور بدقة عالية مع الحفاظ على الخصوصية التفاضلية من خلال المقياس

De Soham ; Berrada Leonard ; Hayes Jamie ; Smith Samuel L. ; Balle Borja

الملخص

الخصوصية التفاضلية (DP) تقدم ضمانًا رسميًا للخصوصية يمنع الأطراف المعادية التي لديها وصول إلى نموذج التعلم الآلي من استخراج معلومات حول نقاط التدريب الفردية. يعد التدرج العشوائي التفاضلي الخصوصي (DP-SGD)، وهو أكثر طرق التدريب الخصوصي شيوعًا في التعلم العميق، أداة لتحقيق هذه الحماية بإضافة الضوضاء أثناء عملية التدريب. ومع ذلك، فقد أظهرت الدراسات السابقة أن DP-SGD غالبًا ما يؤدي إلى تدهور كبير في الأداء على مقاييس تصنيف الصور القياسية. علاوة على ذلك، افترض بعض الباحثين أن DP-SGD يُؤدي بشكل ضعيف بطبيعته على النماذج الكبيرة، حيث تكون مقدار الضوضاء المطلوبة لحفظ الخصوصية متناسبة مع بُعد النموذج. بالمقابل، نحن نثبت أن DP-SGD يمكن أن يؤدي بشكل أفضل بكثير مما كان يُعتقد سابقًا عند استخدامه في النماذج ذات المعلمة الزائدة. من خلال الجمع بين ضبط المعايير الفائقة بدقة وتقنيات بسيطة لضمان انتشار الإشارة وتحسين معدل التقريب، نحقق مستوى جديدًا غير مسبوق (SOTA) بدون بيانات إضافية على CIFAR-10 بنسبة دقة 81.4% تحت خصوصية تفاضلية (8, 10^{-5}) باستخدام شبكة ResNet ذات 40 طبقة واسعة. عند تعديل شبكة NFNet-F3 المدربة مسبقًا، نحقق دقة فائقة تبلغ 83.8% في تصنيف الصور الأولى على ImageNet تحت خصوصية تفاضلية (0.5, 8 \cdot 10^{-7}). بالإضافة إلى ذلك، نحن أيضًا نحقق دقة تصنيف الصور الأولى بنسبة 86.7% تحت خصوصية تفاضلية (8, 8 \cdot 10^{-7})، وهي نسبة لا تتجاوز 4.3% أقل من المستوى غير المسبوق الحالي غير الخصوصي لهذه المهمة. نعتقد أن نتائجنا تمثل خطوة كبيرة نحو تقليص الفجوة بين الدقة في تصنيف الصور الخصوصي وغير الخصوصي.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp