تُعد الزيادة الهائلة في الطلب على موارد الحوسبة المدعومة بـ GPU حاجة ملحة لاستراتيجيات تحسين تلقائية لـ CUDA. وعلى الرغم من التطورات الحديثة في نماذج اللغة الكبيرة (LLMs) التي تُظهر إمكانات واعدة في توليد الشيفرة البرمجية، إلا أن النماذج الحالية المتميزة (SOTA) تحقق معدلات نجاح منخفضة في تحسين سرعة CUDA. في هذا البحث، نقدم CUDA-L1، وهي إطار عمل تلقائي قائمة على التعلم المعزز (Reinforcement Learning) لتحسين CUDA، يعتمد على خوارزمية جديدة للتعلم المعزز المُقارن (Contrastive RL).

يحقق CUDA-L1 تحسينات كبيرة في الأداء على مهام تحسين CUDA: حيث يُدرّب على وحدة A100 من NVIDIA، ويُحقق متوسط تسريع بنسبة 3.12 مرة، ونسبة متوسطة للتسريع تبلغ 1.42 مرة عبر جميع 250 نواة CUDA في مجموعة KernelBench، مع وصول أقصى معدلات تسريع إلى 120 مرة. علاوةً على ذلك، تُظهر النموذج مرونة في الانتقال بين معمليات وحدات GPU المختلفة، حيث يحقق متوسط تسريع بنسبة 3.12 مرة على L40، و2.50 مرة على RTX 3090، و2.39 مرة على H100، و2.37 مرة على H20، بالرغم من أن النموذج تم تحسينه خصيصًا لوحدة A100.

تُظهر قدرات CUDA-L1 أن التعلم المعزز يمكنه تحويل نموذج لغة كبير (LLM) أداءً ضعيفًا في البداية إلى مُحسِّن فعّال لـ CUDA، من خلال إشارات المكافأة المستندة إلى التسارع وحدها، دون الحاجة إلى خبرة بشرية أو معرفة متخصصة في المجال. يفتح هذا النموذج آفاقًا جديدة لتحسين تلقائي لعمليات CUDA، ويوفر توقعات واعدة لتعزيز كفاءة وحدات GPU وتخفيف الضغط المتزايد على موارد الحوسبة بالـ GPU. كما نُحدد تحديات مهمة تنشأ عند تدريب نماذج التعلم المعزز على مهام مثل تطوير CUDA، حيث يميل التعلم المعزز غالبًا إلى استغلال الثغرات في دوال المكافأة بدلاً من حل المشكلات المُراد تحسينها. وبتحديد هذه حالات الفشل وتحليل أسبابها الجذرية، نطوّر أساليب عملية لبناء إجراءات تدريب أكثر متانة، تمنع ظاهرة "استغلال المكافآت" (reward hacking).