أداة تُكتشف الأخطاء الصامتة في تدريب نماذج الذكاء الاصطناعي بشكل تلقائي

أعلن باحثون من جامعة ميتشيغان عن تطوير إطار عمل جديد يُدعى "TrainCheck" يهدف إلى اكتشاف الأخطاء الصامتة أثناء تدريب النماذج الذكاء الاصطناعي، مما يساعد في تحسين أداء النماذج وتقليل الهدر في الموارد والوقت. الأخطاء الصامتة هي مشكلات لا تؤدي إلى فشل تدريب النموذج بشكل واضح، لكنها تؤثر سلبًا على جودته دون أن يلاحظها المطورون، مما يزيد من تكاليف التدريب، خاصة في النماذج الضخمة مثل النماذج اللغوية الكبيرة (LLMs). في تجربة أجريت على 20 خطأً صامتًا، تمكّن "TrainCheck" من اكتشاف 18 منها في دورة واحدة فقط، بينما استطاع الطرق الحالية اكتشاف اثنين فقط فقط. كما كشف عن ستة أخطاء لم تكن معروفة سابقًا في مكتبات التدريب الشهيرة. وقد تم عرض الدراسة التي تقدم "TrainCheck" في مؤتمر "USENIX Symposium on Operating Systems Design and Implementation" (OSDI) في بوسطن. يعتمد "TrainCheck" على " invariant التدريب"، وهي قواعد تبقى ثابتة أثناء عملية التدريب، ويقوم بمراقبتها بشكل مستمر. عندما تُكتشف أي انتهاكات، يُحذّر المطورين ويقدم معلومات تفصيلية لتحديد السبب الجذري للأخطاء. هذا يمثل تطورًا كبيرًا مقارنة بالطرق التقليدية التي تعتمد على مؤشرات عامة مثل "الخسارة" و"الدقة" و"معدلات الميل" والتي قد تكون غير دقيقة أو متغيرة طوال فترة التدريب، مما يجعل من الصعب التمييز بين التغيرات الطبيعية والمشكلات الحقيقية. أثناء تدريب النموذج، تُعدّل الشبكات العصبية الاصطناعية معاييرها عبر عدة دوائر حتى تصل إلى الأداء المطلوب. ومع تزايد حجم النماذج، أصبحت هذه العملية أكثر تكلفة، مما يجعل اكتشاف الأخطاء الصامتة أمرًا حيويًا لضمان جودة النتائج. في تقييمات الأخطاء المزيفة، أصدر "TrainCheck" إنذارات، لكن بمعدل منخفض، وتمكن المطورون من التعرف على أنماط هذه الإنذارات وتجاهلها بسهولة. يُعد "TrainCheck" أداة مبتكرة يمكن دمجها في مختلف أنظمة التعلم الآلي، مما يوفر للمطورين أدوات مُحَسَّنة للكشف المبكر عن الأخطاء وتحسين دقة النماذج وموثوقيتها. من المتوقع أن تُستخدم هذه التقنية في مجالات أخرى مثل الأنظمة الموزعة، حيث تُعد الأخطاء الصامتة شائعة، مما يسهم في تعزيز المرونة والأداء العام.