التصحيح الطبقي للقياس: بديل جاهز للاختلاف في توزيع الميزات

نقدّم التطبيع الطبق (SaBN)، تحسينًا سهلًا جدًا للتطبيع الطباقي (BN) يتطلب تغييرات بسيطة جدًا في الكود. يُحفَّز SaBN على معالجة التباين الطبيعي في توزيع الميزات الذي يمكن ملاحظته في العديد من المهام، والذي قد ينشأ عن تباين البيانات (مجالات إدخال متعددة) أو تباين النموذج (هياكل ديناميكية، توصيف النموذج، إلخ). يُفكّك SaBN طبقة التحويل التماثلية في التطبيع الطباقي إلى طبقة تماثلية مشتركة على شكل "طبق"، تتبعها عدة طبقات تماثلية مستقلة متوازية. تُظهر التحليلات المحددة أن SaBN يُعزز، أثناء التحسين، توازن قيم معيار المتجهات التدرجية مع الحفاظ على اتجاهات تدرجية متنوعة — وهي خاصية يُظهر العديد من المهام التطبيقية تفضيلها. نُثبت فعالية SaBN المتفوّقة كاستبدال مباشر في أربع مهام: توليد الصور الشرطي، بحث الهياكل العصبية (NAS)، التدريب المضاد، ونقل الأسلوب بشكل عشوائي. وباستخدام SaBN، نحقّق تحسينًا فوريًا في مؤشر Inception وFID في مهام توليد الصور الشرطية على مجموعة بيانات CIFAR-10 وImageNet باستخدام ثلاث نماذج حديثة متميزة من GAN؛ كما نُحسّن بشكل كبير أداء خوارزمية NAS ذات مشاركة الأوزان من المستوى الرائد على مجموعة NAS-Bench-201؛ ونُعزّز بشكل كبير كلاً من الدقة القياسية والدقة المقاومة للهجمات في الدفاع المضاد؛ ونُنتج نتائج مُستَلَّة بأسلوب مُختلف بأداء متفوّق. كما نقدّم تصورات توضيحية وتحليلات لمساعدة الفهم حول أسباب كفاءة SaBN. يمكن الاطلاع على الكود عبر الرابط التالي: https://github.com/VITA-Group/Sandwich-Batch-Normalization.