HyperAIHyperAI

Command Palette

Search for a command to run...

TAN Without a Burn: قوانين التوسع لـ DP-SGD

Sander Tom ; Stock Pierre ; Sablayrolles Alexandre

الملخص

قد تقدمت طرق الخصوصية التفاضلية لتدريب الشبكات العصبية العميقة (DNNs) مؤخرًا، وبشكل خاص من خلال استخدام دفعات ضخمة وتوسيع البيانات المجمعة لعدد كبير من خطوات التدريب. تتطلب هذه التقنيات موارد حوسبة أكبر بكثير من نظيراتها غير الخاصة بالخصوصية، مما يحول التوازن التقليدي بين الخصوصية والدقة إلى توازن بين الخصوصية والدقة والحوسبة، ويجعل البحث عن المعلمات الفائقة شبه مستحيل في السيناريوهات الواقعية. في هذا العمل، نفصل بين تحليل الخصوصية والسلوك التجريبي للتدريب الضوضائي لاستكشاف هذا التوازن بأقل متطلبات حاسوبية. أولاً، نستخدم أدوات الخصوصية التفاضلية ريني (RDP) لنوضح أن ميزانية الخصوصية، عندما لا تكون مفرطة الاستخدام، تعتمد فقط على إجمالي الضوضاء (TAN) المُدخل خلال عملية التدريب. ثم نستنتج قوانين توسع لتدريب النماذج باستخدام DP-SGD لتحسين المعلمات الفائقة مع أكثر من 100 مرة تقليل في ميزانية الحوسبة. نطبق الطريقة المقترحة على CIFAR-10 و ImageNet ، وفيما يتعلق بـ ImageNet ، نحسن بشكل كبير الحالة الراهنة للتقنية بمكسب يبلغ +9 نقاط في دقة المرتبة الأولى لميزانية الخصوصية epsilon=8.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp