نحو تدريب شبكات العصب الرسمية ذات المليار معلمة لمحاكاة الذرات

التقدم الحديث في شبكات العصبونات الرسومية (GNNs) لنمذجة المحاكاة الذرية يحمل في طياته إمكانية تغيير مسار اكتشاف المحفزات، وهو خطوة أساسية لتحقيق الاختراقات الطاقوية اللازمة لمكافحة تغير المناخ. ومع ذلك، فإن شبكات العصبونات الرسومية التي أثبتت فعاليتها في هذا المهمة تتطلب ذاكرة كبيرة نظرًا لأنها تنمذج التفاعلات من الدرجة العليا في الرسوم البيانية، مثل تلك بين ثلاثيات أو رباعيات الذرات، مما يجعل توسيع هذه النماذج أمرًا صعبًا. في هذا البحث، نقدم تقنية التوازي الرسومي (Graph Parallelism)، وهي طريقة لتوزيع الرسوم البيانية الإدخالية عبر عدة معالجات رسومية (GPUs)، مما يمكّننا من تدريب شبكات عصبونات رسمية ضخمة تحتوي على مئات الملايين أو مليارات المعاملات. قمنا بتقييم طريقتنا بشكل تجريبي من خلال زيادة عدد المعاملات في النماذج المقترحة حديثًا DimeNet++ و GemNet بأكثر من مرتبة عشرية واحدة. وعلى مجموعة البيانات الكبيرة Open Catalyst 2020 (OC20)، أدت هذه النماذج المتوازية الرسومي إلى تحسينات نسبية بلغت 1) 15% في مؤشر متوسط الخطأ المطلق للقوى (force MAE) للمهمة S2EF و 2) 21% في مؤشر AFbT للمهمة IS2RS، مما أرسى نتائج جديدة رائدة في المجال.