التدريب العدواني السلس

يُعتقد بشكل شائع أن الشبكات لا يمكن أن تكون دقيقة وقوية في آن واحد، وأن تحقيق المقاومة يعني بالضرورة التضحية بالدقة. كما يُنظر عادةً إلى أن عناصر البنية المعمارية للشبكة لا تُحدث فرقًا كبيرًا في تحسين المقاومة المضادة للهجمات، ما لم تُضخم حجم الشبكة. هنا نقدم أدلةً تُحدّث هذه المعتقدات الشائعة من خلال دراسة دقيقة لتدريب الشبكات المضادة للهجمات. ملاحظتنا الأساسية هي أن دالة التنشيط الشائعة جدًا، ReLU، تُضعف تدريب الشبكات المضادة للهجمات بشكل كبير بسبب طبيعتها غير السلسة. لذلك نقترح ما يُعرف بـ "تدريب مضاد سلس" (Smooth Adversarial Training - SAT)، حيث نستبدل دالة ReLU ببدائلها السلسة لتعزيز عملية التدريب المضاد للهجمات. الهدف من استخدام دوال تنشيط سلسة في SAT هو تمكين الشبكة من اكتشاف أمثلة مضادة أكثر صعوبة، وحساب تحديثات متجهة (Gradient Updates) أكثر دقة أثناء التدريب.مقارنةً بالتدريب المضاد القياسي، فإن SAT يُحسّن من مقاومة الشبكة "مجانًا"، أي دون انخفاض في الدقة أو زيادة في التكلفة الحسابية. على سبيل المثال، وبلا إدخال أي عمليات حسابية إضافية، يُعزز SAT مقاومة نموذج ResNet-50 بشكل ملحوظ من 33.0% إلى 42.3%، مع تحسين الدقة أيضًا بنسبة 0.9% على مجموعة بيانات ImageNet. كما يعمل SAT بكفاءة عالية مع الشبكات الأكبر: حيث يُسهم في تحقيق نموذج EfficientNet-L1 دقة قدرها 82.2% ومقاومة قدرها 58.6% على ImageNet، متفوّقًا على أفضل دفاعات سابقة بنسبة 9.5% في الدقة و11.6% في المقاومة. يمكن الوصول إلى النماذج المُدرّبة عبر الرابط: https://github.com/cihangxie/SmoothAdversarialTraining.