دراسة شاملة حول التدريب على الرسوم البيانية الضخمة: تقييم أداء وإعادة التفكير

يُعد تدريب الرسوم البيانية الضخمة مشكلة معروفة الصعوبة لشبكات التعلم العصبي الرسومية (GNNs). نظرًا للطبيعة الديناميكية للهياكل الرسومية التي تتغير خلال عملية التدريب، غالبًا ما تفشل الشبكات العصبية الرسومية التقليدية في التوسع، محدودةً بمساحة ذاكرة وحدة معالجة الرسومات (GPU). حتى الآن، وعلى الرغم من اقتراح العديد من الهياكل القابلة للتوسع لـ GNNs، لا تزال هناك نقص في مراجعة شاملة ومقارنة عادلة لهذا المخزون، مما يعيق فهم الأسس المُحكمة لتصميم GNNs القابلة للتوسع. ولحل هذه المشكلة، نقوم أولًا بتصنيف الطرق الممثلة لتدريب الرسوم البيانية الضخمة إلى عدة فروع، ثم نُنشئ معيارًا عادلًا ومتماسكًا لها من خلال بحث جريء في المعلمات الفائقة. وبالإضافة إلى ذلك، من حيث الكفاءة، نقيّم نظريًا تعقيد الزمن والمساحة لكل فرع، ونقارن تجريبيًا بينها من حيث استهلاك ذاكرة GPU، والإنتاجية (throughput)، وسرعة التقارب. علاوة على ذلك، نحلل المزايا والعيوب لكل فرع من فروع GNNs القابلة للتوسع، ثم نقدم طريقة جديدة للتدريب المجمّع تُسمى EnGCN، لمعالجة المشكلات القائمة. يُمكن الوصول إلى الكود الخاص بنا عبر الرابط: https://github.com/VITA-Group/Large_Scale_GCN_Benchmarking.