أتمتة استعادة أحمال العمل تحافظ على التدريب الموزع
مع توسع التدريب الموزع للذكاء الاصطناعي، أصبحت الأعطال البرمجية والعتادية مصدر تعطيل مستمر للتقدم، ما يجعل الاسترداد الآلي حاجة تشغيلية لا رفاهية. فحتى تعطال رتبة تدريب واحدة قد يسبب مهلة في مكتبة الاتصالات الجماعية، وقد تتوقف عقدة معالجة رسوميات عن الاستجابة للمجدول، وقد يبطئ أداء عقدة متعثرة المهمة كاملة، وتتراكم هذه الخسائر في الوقت والحوسبة إذا عولجت يدويا على مستوى كل مهمة. تقدم إنفيديا خدمة مفتوحة المصدر باسم إنفيديا لاسترداد الأحمال، ضمن نظام دي إس إكس أو إس المرتبط بمنصة دي إس إكس لتشغيل مصانع الذكاء الاصطناعي. تعمل الخدمة كطبقة استرداد على مستوى العنقود، فتكتشف الأعطال من سجلات التطبيقات ومقاييس معالجات الرسوميات وإشارات المجدول، ثم تعزو السبب إلى الموارد المعنية، وتنفذ العزل وإعادة الإقلاع من نقاط التفتيش على قدرة سليمة. ويكتمل ذلك بدورة من أربع مراحل: الكشف، والتشخيص، والعزل، ثم إعادة التشغيل أو الإيقاف عند عدم جدوى المحاولات. ويكمن الفرق في أن الأداة لا تتوقف عند إصلاح العتاد أو داخل مهمة واحدة، بل تنسق بين التصليح البنيوي، واسترداد الإطار البرمجي، وإدارة موارد العنقود، فتتدخل عبر مهام متعددة تشترك في البنية نفسها. وتتواصل مع المجدول عبر واجهة برمجية تفصل منطق القرار عن تفاصيل التنفيذ، وتدعم في البداية سلايرم، مع خطط لاحقة لدعم كوبرنيتيس، واسترداد مصفوفات المهام، وأنواع أعباء إضافية. وتظهر قيمتها في الأرقام: خلال ثلاثة أشهر على عنقود تدريب، غطت المراقبة قرابة ٢٠٠ مهمة يوميا وسجلت نحو ٨٥٥٠ إنذارا، بمتوسط ٦٩ ثانية للكشف و٩٤ ثانية لتنفيذ إجراء الاسترداد. وتعزز بيانات سابقة الحاجة إليها، إذ وجدت دراسة على ٢٤٠٠٠ معالج رسوميات أن الأعطال العتادية قاطعت أقل من ١٪ من المهام، لكن تلك المهام استهلكت ١٩٪ من زمن التشغيل، بينما احتمال إكمال مهمة تعتمد على ١٠٠٠٠ معالج بشكل متواصل في يوم واحد، مع موثوقية يومية ٩٩٫٩٪ لكل معالج، لا يتجاوز ٠٫٠٠٥٪. وتبدأ الخدمة بوضع المراقبة لنشر التوصيات دون تنفيذ، ثم تنتقل إلى الوضع التلقائي بعد التحقق من جودة القرارات. ويوفر سجل تدقيق مستمر لكل حدث، ولوحة تحكم لمراقبة حالة المهام والأفعال المنفذة. ويجري نشرها من مخطط هيلم واحد، مع تكامل اختياري مع خدمة العزو التشخيصي لعمق أكبر في التحليل. وقد اعتمدتها أبحاث آي بي إم وقدمت فيردا أول شراكة سحابية في البرنامج، ما يشير إلى انتقال الاسترداد الآلي من أداة داخلية إلى قدرة مفتوحة يمكن ضبطها وفق سياسات العنقود وتقليل ساعات المعالجة غير المستغلة.
