HyperAIHyperAI

Command Palette

Search for a command to run...

التصحيح الطبقي للقياس: بديل جاهز للاختلاف في توزيع الميزات

Xinyu Gong Wuyang Chen Tianlong Chen Zhangyang Wang

الملخص

نقدّم التطبيع الطبق (SaBN)، تحسينًا سهلًا جدًا للتطبيع الطباقي (BN) يتطلب تغييرات بسيطة جدًا في الكود. يُحفَّز SaBN على معالجة التباين الطبيعي في توزيع الميزات الذي يمكن ملاحظته في العديد من المهام، والذي قد ينشأ عن تباين البيانات (مجالات إدخال متعددة) أو تباين النموذج (هياكل ديناميكية، توصيف النموذج، إلخ). يُفكّك SaBN طبقة التحويل التماثلية في التطبيع الطباقي إلى طبقة تماثلية مشتركة على شكل "طبق"، تتبعها عدة طبقات تماثلية مستقلة متوازية. تُظهر التحليلات المحددة أن SaBN يُعزز، أثناء التحسين، توازن قيم معيار المتجهات التدرجية مع الحفاظ على اتجاهات تدرجية متنوعة — وهي خاصية يُظهر العديد من المهام التطبيقية تفضيلها. نُثبت فعالية SaBN المتفوّقة كاستبدال مباشر في أربع مهام: توليد الصور الشرطي، بحث الهياكل العصبية (NAS)، التدريب المضاد، ونقل الأسلوب بشكل عشوائي. وباستخدام SaBN، نحقّق تحسينًا فوريًا في مؤشر Inception وFID في مهام توليد الصور الشرطية على مجموعة بيانات CIFAR-10 وImageNet باستخدام ثلاث نماذج حديثة متميزة من GAN؛ كما نُحسّن بشكل كبير أداء خوارزمية NAS ذات مشاركة الأوزان من المستوى الرائد على مجموعة NAS-Bench-201؛ ونُعزّز بشكل كبير كلاً من الدقة القياسية والدقة المقاومة للهجمات في الدفاع المضاد؛ ونُنتج نتائج مُستَلَّة بأسلوب مُختلف بأداء متفوّق. كما نقدّم تصورات توضيحية وتحليلات لمساعدة الفهم حول أسباب كفاءة SaBN. يمكن الاطلاع على الكود عبر الرابط التالي: https://github.com/VITA-Group/Sandwich-Batch-Normalization.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
التصحيح الطبقي للقياس: بديل جاهز للاختلاف في توزيع الميزات | مستندات | HyperAI