التفعيل المكاني للدُفعات لتدريب الشبكات العصبية العميقة بشكل مُحسَّن من حيث الذاكرة

في هذا العمل، نقدم التطبيع الدُفعة المُفعّل في المكان (InPlace-ABN) - وهو نهج جديد يهدف إلى تقليل البصمة الذاكرة للتدريب في الشبكات العصبية العميقة الحديثة بطريقة حاسوبية فعالة. حلنا يحل محل التتابع التقليدي لطبقات التطبيع الدُفعة + التنشيط بطبقة إضافية واحدة، مما يتجنب الجراحة الإطارية الغازية ويوفر قابلية التطبيق بسهولة للمؤطَرات الحالية للتعلم العميق. نحن نحقق وفرًا في الذاكرة يصل إلى 50% من خلال التخلص من النتائج الوسيطة واستعادة المعلومات المطلوبة أثناء مرحلة العودة الخلفية من خلال عكس النتائج المخزنة للأمام، مع زيادة طفيفة فقط (0.8-2%) في وقت الحساب. كما نوضح كيف يمكن جعل أساليب نقاط التحقق الأكثر استخدامًا حاسوبيًا بنفس كفاءة InPlace-ABN. في تجاربنا على تصنيف الصور، أظهرنا نتائج مماثلة لتلك التي حققتها الأساليب الرائدة على ImageNet-1k. بالنسبة لمهمة الفصل الدلالي التي تتطلب ذاكرة كبيرة، نبلغ عن نتائج لـ COCO-Stuff و Cityscapes و Mapillary Vistas، حيث حققنا أفضل النتائج حتى الآن على الأخيرة دون بيانات تدريب إضافية وفي سيناريو ذو نطاق وموديل واحد. يمكن العثور على الكود في https://github.com/mapillary/inplace_abn .