HyperAIHyperAI

Command Palette

Search for a command to run...

التفعيل المكاني للدُفعات لتدريب الشبكات العصبية العميقة بشكل مُحسَّن من حيث الذاكرة

Samuel Rota Bulò Lorenzo Porzi Peter Kontschieder

الملخص

في هذا العمل، نقدم التطبيع الدُفعة المُفعّل في المكان (InPlace-ABN) - وهو نهج جديد يهدف إلى تقليل البصمة الذاكرة للتدريب في الشبكات العصبية العميقة الحديثة بطريقة حاسوبية فعالة. حلنا يحل محل التتابع التقليدي لطبقات التطبيع الدُفعة + التنشيط بطبقة إضافية واحدة، مما يتجنب الجراحة الإطارية الغازية ويوفر قابلية التطبيق بسهولة للمؤطَرات الحالية للتعلم العميق. نحن نحقق وفرًا في الذاكرة يصل إلى 50% من خلال التخلص من النتائج الوسيطة واستعادة المعلومات المطلوبة أثناء مرحلة العودة الخلفية من خلال عكس النتائج المخزنة للأمام، مع زيادة طفيفة فقط (0.8-2%) في وقت الحساب. كما نوضح كيف يمكن جعل أساليب نقاط التحقق الأكثر استخدامًا حاسوبيًا بنفس كفاءة InPlace-ABN. في تجاربنا على تصنيف الصور، أظهرنا نتائج مماثلة لتلك التي حققتها الأساليب الرائدة على ImageNet-1k. بالنسبة لمهمة الفصل الدلالي التي تتطلب ذاكرة كبيرة، نبلغ عن نتائج لـ COCO-Stuff و Cityscapes و Mapillary Vistas، حيث حققنا أفضل النتائج حتى الآن على الأخيرة دون بيانات تدريب إضافية وفي سيناريو ذو نطاق وموديل واحد. يمكن العثور على الكود في https://github.com/mapillary/inplace_abn .


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp