HyperAIHyperAI

Command Palette

Search for a command to run...

التدريب العدواني السلس

Cihang Xie Mingxing Tan Boqing Gong Alan Yuille Quoc V. Le

الملخص

يُعتقد بشكل شائع أن الشبكات لا يمكن أن تكون دقيقة وقوية في آن واحد، وأن تحقيق المقاومة يعني بالضرورة التضحية بالدقة. كما يُنظر عادةً إلى أن عناصر البنية المعمارية للشبكة لا تُحدث فرقًا كبيرًا في تحسين المقاومة المضادة للهجمات، ما لم تُضخم حجم الشبكة. هنا نقدم أدلةً تُحدّث هذه المعتقدات الشائعة من خلال دراسة دقيقة لتدريب الشبكات المضادة للهجمات. ملاحظتنا الأساسية هي أن دالة التنشيط الشائعة جدًا، ReLU، تُضعف تدريب الشبكات المضادة للهجمات بشكل كبير بسبب طبيعتها غير السلسة. لذلك نقترح ما يُعرف بـ "تدريب مضاد سلس" (Smooth Adversarial Training - SAT)، حيث نستبدل دالة ReLU ببدائلها السلسة لتعزيز عملية التدريب المضاد للهجمات. الهدف من استخدام دوال تنشيط سلسة في SAT هو تمكين الشبكة من اكتشاف أمثلة مضادة أكثر صعوبة، وحساب تحديثات متجهة (Gradient Updates) أكثر دقة أثناء التدريب.مقارنةً بالتدريب المضاد القياسي، فإن SAT يُحسّن من مقاومة الشبكة "مجانًا"، أي دون انخفاض في الدقة أو زيادة في التكلفة الحسابية. على سبيل المثال، وبلا إدخال أي عمليات حسابية إضافية، يُعزز SAT مقاومة نموذج ResNet-50 بشكل ملحوظ من 33.0% إلى 42.3%، مع تحسين الدقة أيضًا بنسبة 0.9% على مجموعة بيانات ImageNet. كما يعمل SAT بكفاءة عالية مع الشبكات الأكبر: حيث يُسهم في تحقيق نموذج EfficientNet-L1 دقة قدرها 82.2% ومقاومة قدرها 58.6% على ImageNet، متفوّقًا على أفضل دفاعات سابقة بنسبة 9.5% في الدقة و11.6% في المقاومة. يمكن الوصول إلى النماذج المُدرّبة عبر الرابط: https://github.com/cihangxie/SmoothAdversarialTraining.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp