أوقات التدريب الطويلة للشبكات العصبية العميقة ذات الدقة العالية (DNNs) تعوق البحث في هياكل شبكات عصبية عميقة جديدة وتبطئ تطوير الشبكات العصبية العميقة ذات الدقة العالية. في هذا البحث، نقدم FireCaffe، وهي أداة تحقق بنجاح توسيع نطاق تدريب الشبكات العصبية العميقة عبر مجموعة من وحدات معالجة الرسومات (GPUs). كما نقدم عددًا من أفضل الممارسات لمساعدة في مقارنة التطورات في الطرق المستخدمة لتوسيع نطاق وتسريع تدريب الشبكات العصبية العميقة. إن سرعة وخفة الخوارزميات الموزعة تقيد دائمًا تقريبًا بالتكاليف الإضافية للتواصل بين الخوادم؛ وليس تدريب DNN استثناءً لهذه القاعدة. لذلك، فإن الاعتبار الرئيسي هنا هو خفض تكاليف التواصل قدر الإمكان دون المساس بدقة نماذج DNN التي نتدرب عليها. يرتكز نهجنا على ثلاثة أعمدة رئيسية. الأول، نختار الأجهزة الشبكية التي تحقق حزمة بيانات عالية بين خوادم GPU -- تعتبر شبكات Infiniband أو Cray مثالية لهذا الغرض. الثاني، ندرس عددًا من خوارزميات التواصل، ونجد أن الأشجار التقليلية أكثر كفاءة وخفة من النهج التقليدي لخادم المعلمات. الثالث، يمكننا زيادة حجم الدفعة بشكل اختياري لتقليل الكمية الإجمالية للتواصل أثناء تدريب DNN، ونحدد المعلمات الفائقة التي تسمح لنا بإعادة إنتاج دقة الدفع الصغيرة أثناء التدريب بدفع كبيرة. عند تدريب GoogLeNet وNetwork-in-Network على ImageNet، نحقق سرعة أكبر بمقدار 47 مرة و39 مرة على التوالي عند استخدام مجموعة تتكون من 128 GPU.