تدريب موزع لشبكات GNN دون اتصال باستخدام قطع الرؤوس

تدريب شبكات العصب العصبية الرسومية (GNNs) على الرسومات الواقعية التي تتكون من مليارات العقد والحواف يُعد تحديًا كبيرًا، وذلك بشكل رئيسي بسبب الحاجة إلى ذاكرة كبيرة لتخزين الرسم والسمات الوسيطة للعقد والحواف، وهناك حاجة ملحة لتسريع عملية التدريب. إحدى الطرق الشائعة لتحقيق التسريع هي تقسيم الرسم إلى العديد من الرسوم الفرعية الأصغر، والتي تُوزَّع بعد ذلك عبر وحدات معالجة رسومية متعددة (GPUs) في جهاز واحد أو أكثر، ثم تُعالج بالتوازي. ومع ذلك، فإن الطرق الموزعة الحالية تتطلب تواصلًا متكررًا وشاملًا بين وحدات المعالجة الرسومية، مما يؤدي إلى زمن كبير من التأخير وينقص التوسعية بشكل تدريجي. في هذا العمل، نقدّم CoFree-GNN، إطارًا جديدًا لتوزيع تدريب شبكات العصب العصبية الرسومية، والذي يُسرّع بشكل كبير عملية التدريب من خلال تنفيذ تدريب خالٍ من التواصل. يستخدم الإطار تقسيمًا بناءً على العقد (Vertex Cut)، أي بدلًا من تقسيم الرسم عن طريق قطع الحواف بين الأجزاء، يُقسّم تقسيم العقد الحواف ويُكرّر معلومات العقد للحفاظ على بنية الرسم. علاوةً على ذلك، يحافظ الإطار على دقة النموذج العالية من خلال دمج آلية إعادة الترجيح لمعالجة توزيع الرسم المشوّه الناتج عن تكرار العقد. كما نقترح تقنية معدلة من طريقة DropEdge لتسريع عملية التدريب بشكل إضافي. من خلال سلسلة واسعة من التجارب على شبكات واقعية، نُظهر أن CoFree-GNN يُسرّع عملية تدريب GNN بنسبة تصل إلى 10 أضعاف مقارنةً بالأساليب الحالية الأفضل في مجال تدريب GNNs.