توحيد النماذج التسلسلية غير الخطية على طول طول التسلسل

النماذج التسلسلية، مثل الشبكات العصبية التكرارية (Recurrent Neural Networks) و المعادلات التفاضلية العصبية (Neural Ordinary Differential Equations)، عانت لفترة طويلة من بطء التدريب ناتجًا عن طبيعتها التسلسلية المتأصلة. ظل هذا العائق قائماً لسنوات عديدة، إذ اعتقد الكثيرون أن النماذج التسلسلية لا يمكن توازيها. نحن نتحدى هذا الاعتقاد القديم من خلال خوارزمية متوازية تُسرّع تقييم النماذج التسلسلية على وحدات معالجة الرسوميات (GPU) بمقدار يصل إلى ثلاثة أضعاف في السرعة، دون التضحية بدقة النتائج. لا تتطلب هذه الخوارزمية أي بنية خاصة في بنية النماذج التسلسلية، مما يجعلها قابلة للتطبيق على طيف واسع من الهياكل المعمارية. باستخدام منهجيتنا، يمكن تسريع تدريب النماذج التسلسلية بأكثر من عشرة أضعاف مقارنة بالطريقة التسلسلية الشائعة، مع عدم وجود فرق ملحوظ في نتائج التدريب. وبفضل هذا التسارع في التدريب، اكتشفنا فعالية وحدة التكرار المُحددة (Gated Recurrent Unit) في مشكلة تصنيف سلسلة زمنية طويلة تضم 17 ألف عينة زمنية. وبتجاوز عقبة التدريب، تمثل هذه الدراسة الخطوة الأولى نحو استغلال الإمكانات الكامنة للنماذج التسلسلية غير الخطية في معالجة المشكلات ذات التسلسلات الطويلة.