TAN Without a Burn: قوانين التوسع لـ DP-SGD

قد تقدمت طرق الخصوصية التفاضلية لتدريب الشبكات العصبية العميقة (DNNs) مؤخرًا، وبشكل خاص من خلال استخدام دفعات ضخمة وتوسيع البيانات المجمعة لعدد كبير من خطوات التدريب. تتطلب هذه التقنيات موارد حوسبة أكبر بكثير من نظيراتها غير الخاصة بالخصوصية، مما يحول التوازن التقليدي بين الخصوصية والدقة إلى توازن بين الخصوصية والدقة والحوسبة، ويجعل البحث عن المعلمات الفائقة شبه مستحيل في السيناريوهات الواقعية. في هذا العمل، نفصل بين تحليل الخصوصية والسلوك التجريبي للتدريب الضوضائي لاستكشاف هذا التوازن بأقل متطلبات حاسوبية. أولاً، نستخدم أدوات الخصوصية التفاضلية ريني (RDP) لنوضح أن ميزانية الخصوصية، عندما لا تكون مفرطة الاستخدام، تعتمد فقط على إجمالي الضوضاء (TAN) المُدخل خلال عملية التدريب. ثم نستنتج قوانين توسع لتدريب النماذج باستخدام DP-SGD لتحسين المعلمات الفائقة مع أكثر من 100 مرة تقليل في ميزانية الحوسبة. نطبق الطريقة المقترحة على CIFAR-10 و ImageNet ، وفيما يتعلق بـ ImageNet ، نحسن بشكل كبير الحالة الراهنة للتقنية بمكسب يبلغ +9 نقاط في دقة المرتبة الأولى لميزانية الخصوصية epsilon=8.