HyperAIHyperAI

Command Palette

Search for a command to run...

تدريب موزع لشبكات GNN دون اتصال باستخدام قطع الرؤوس

Kaidi Cao Rui Deng Shirley Wu Edward W Huang Karthik Subbian Jure Leskovec

الملخص

تدريب شبكات العصب العصبية الرسومية (GNNs) على الرسومات الواقعية التي تتكون من مليارات العقد والحواف يُعد تحديًا كبيرًا، وذلك بشكل رئيسي بسبب الحاجة إلى ذاكرة كبيرة لتخزين الرسم والسمات الوسيطة للعقد والحواف، وهناك حاجة ملحة لتسريع عملية التدريب. إحدى الطرق الشائعة لتحقيق التسريع هي تقسيم الرسم إلى العديد من الرسوم الفرعية الأصغر، والتي تُوزَّع بعد ذلك عبر وحدات معالجة رسومية متعددة (GPUs) في جهاز واحد أو أكثر، ثم تُعالج بالتوازي. ومع ذلك، فإن الطرق الموزعة الحالية تتطلب تواصلًا متكررًا وشاملًا بين وحدات المعالجة الرسومية، مما يؤدي إلى زمن كبير من التأخير وينقص التوسعية بشكل تدريجي. في هذا العمل، نقدّم CoFree-GNN، إطارًا جديدًا لتوزيع تدريب شبكات العصب العصبية الرسومية، والذي يُسرّع بشكل كبير عملية التدريب من خلال تنفيذ تدريب خالٍ من التواصل. يستخدم الإطار تقسيمًا بناءً على العقد (Vertex Cut)، أي بدلًا من تقسيم الرسم عن طريق قطع الحواف بين الأجزاء، يُقسّم تقسيم العقد الحواف ويُكرّر معلومات العقد للحفاظ على بنية الرسم. علاوةً على ذلك، يحافظ الإطار على دقة النموذج العالية من خلال دمج آلية إعادة الترجيح لمعالجة توزيع الرسم المشوّه الناتج عن تكرار العقد. كما نقترح تقنية معدلة من طريقة DropEdge لتسريع عملية التدريب بشكل إضافي. من خلال سلسلة واسعة من التجارب على شبكات واقعية، نُظهر أن CoFree-GNN يُسرّع عملية تدريب GNN بنسبة تصل إلى 10 أضعاف مقارنةً بالأساليب الحالية الأفضل في مجال تدريب GNNs.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
تدريب موزع لشبكات GNN دون اتصال باستخدام قطع الرؤوس | مستندات | HyperAI