نظام لتحليل تفاعلي في الزمن الفعلي لتدريب التعلم العميق

إن إجراء التشخيص أو التحليل الاستكشافي أثناء تدريب نماذج التعلم العميق يُعدّ تحديًا، ولكنه غالبًا ما يكون ضروريًا لاتخاذ سلسلة من القرارات التي تُوجَّه بواسطة الملاحظات التدريجية. تُعاني الأنظمة الحالية المتاحة لهذا الغرض من قيود تقتصر على مراقبة البيانات المسجلة فقط، والتي يجب تحديدها مسبقًا قبل بدء عملية التدريب. كل مرة يُطلب فيها معلومات جديدة، يصبح من الضروري إجراء دورة من التوقف والتعديل وإعادة التشغيل في عملية التدريب. تُعَد هذه القيود عائقًا كبيرًا أمام المهام التفاعلية للاستكشاف والتشخيص، مما يفرض دورة طويلة ومملة من التكرار أثناء تطوير النموذج. نقدّم نظامًا جديدًا يمكّن المستخدمين من إجراء استعلامات تفاعلية على العمليات النشطة، مما يُنتج معلومات في الوقت الفعلي يمكن عرضها بتنسيقات متعددة على أسطح متعددة في آنٍ واحد، من خلال عدة تصورات مرئية حسب الرغبة. لتحقيق ذلك، نُمَثّل مهام مختلفة من التحقق الاستكشافي والتشخيصي الخاصة بعمليات تدريب التعلم العميق كمواصفات لتدفقات بيانات باستخدام منهجية خريطة-اختزال (map-reduce)، التي يتقنها بالفعل العديد من علماء البيانات. يُحقّق تصميمنا الشمولية والقابلية للتوسيع من خلال تعريف وحدات أولية قابلة للتركيب، وهو نهج جوهريًا مختلف عن الأنظمة المتاحة حاليًا. يتوفر تنفيذ مفتوح المصدر لنظامنا كمشروع يُدعى TensorWatch على الرابط التالي: https://github.com/microsoft/tensorwatch.