HyperAIHyperAI

Command Palette

Search for a command to run...

فهم المقاومة في نماذج التحويل البصري

Daquan Zhou Zhiding Yu Enze Xie Chaowei Xiao Anima Anandkumar Jiashi Feng Jose M. Alvarez

الملخص

أظهرت الدراسات الحديثة أن نماذج التحويل البصري (ViTs) تُظهر مقاومة قوية ضد أنواع مختلفة من التشوهات. وعلى الرغم من أن هذه الخاصية تُعزى جزئيًا إلى آلية الانتباه الذاتي، إلا أن هناك ما يزال نقصًا في الفهم المنهجي لها. في هذه الورقة، نُجري تحليلًا لدور الانتباه الذاتي في تعلم تمثيلات مقاومة. ويُحفّز هذا البحث على الخصائص المثيرة للاهتمام التي تظهر في التجميع البصري الناشئ داخل نماذج التحويل البصري، والتي تشير إلى أن الانتباه الذاتي قد يعزز المقاومة من خلال تحسين التمثيلات المتوسطة المستوى. ونتيجة لذلك، نقترح عائلة من الشبكات الكاملة القائمة على الانتباه (FANs) التي تعزز هذه القدرة من خلال دمج تصميم معالجة القنوات القائمة على الانتباه. وقد قمنا بتأكيد فعالية هذا التصميم بشكل شامل على عدة هيكل أساسي هرمي. وحققت النموذج أداءً متقدمًا على مستوى الصناعة بـ 87.1% من الدقة و35.8% من متوسط الخطأ المطلق (mCE) على مجموعة بيانات ImageNet-1k وImageNet-C، مع 76.8 مليون معلمة. كما أظهرنا أداءً متقدمًا على مستوى الصناعة من حيث الدقة والمقاومة في مهام تطبيقية لاحقة: التجزئة الدلالية والكشف عن الكائنات. يتوفر الكود على الرابط التالي: https://github.com/NVlabs/FAN.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp