Command Palette
Search for a command to run...
التفعيل المكاني للدُفعات لتدريب الشبكات العصبية العميقة بشكل مُحسَّن من حيث الذاكرة
التفعيل المكاني للدُفعات لتدريب الشبكات العصبية العميقة بشكل مُحسَّن من حيث الذاكرة
Samuel Rota Bulò Lorenzo Porzi Peter Kontschieder
الملخص
في هذا العمل، نقدم التطبيع الدُفعة المُفعّل في المكان (InPlace-ABN) - وهو نهج جديد يهدف إلى تقليل البصمة الذاكرة للتدريب في الشبكات العصبية العميقة الحديثة بطريقة حاسوبية فعالة. حلنا يحل محل التتابع التقليدي لطبقات التطبيع الدُفعة + التنشيط بطبقة إضافية واحدة، مما يتجنب الجراحة الإطارية الغازية ويوفر قابلية التطبيق بسهولة للمؤطَرات الحالية للتعلم العميق. نحن نحقق وفرًا في الذاكرة يصل إلى 50% من خلال التخلص من النتائج الوسيطة واستعادة المعلومات المطلوبة أثناء مرحلة العودة الخلفية من خلال عكس النتائج المخزنة للأمام، مع زيادة طفيفة فقط (0.8-2%) في وقت الحساب. كما نوضح كيف يمكن جعل أساليب نقاط التحقق الأكثر استخدامًا حاسوبيًا بنفس كفاءة InPlace-ABN. في تجاربنا على تصنيف الصور، أظهرنا نتائج مماثلة لتلك التي حققتها الأساليب الرائدة على ImageNet-1k. بالنسبة لمهمة الفصل الدلالي التي تتطلب ذاكرة كبيرة، نبلغ عن نتائج لـ COCO-Stuff و Cityscapes و Mapillary Vistas، حيث حققنا أفضل النتائج حتى الآن على الأخيرة دون بيانات تدريب إضافية وفي سيناريو ذو نطاق وموديل واحد. يمكن العثور على الكود في https://github.com/mapillary/inplace_abn .