Command Palette
Search for a command to run...
الشبكات العصبية بدون رسم بياني: تدريس الشبكات العصبية التلافيفية القديمة تقنيات جديدة من خلال التوليف
الشبكات العصبية بدون رسم بياني: تدريس الشبكات العصبية التلافيفية القديمة تقنيات جديدة من خلال التوليف
Shichang Zhang Yozen Liu Yizhou Sun Neil Shah
الملخص
تمثّل الشبكات العصبية الرسومية (GNNs) خيارًا شائعًا في التعلم الآلي على الرسوم البيانية، وقد أظهرت نتائج متميزة في مهام التصنيف الواسعة للعقد. ومع ذلك، فإنها لا تُستخدم على نطاق واسع في التطبيقات الصناعية بسبب التحديات المتعلقة بالقابلية للتوسع الناتجة عن الاعتماد على البيانات. وبشكل خاص، تعتمد عمليات الاستدلال في GNNs على العقد المجاورة التي تقع على مسافات متعددة من العقدة المستهدفة، مما يُثقل تطبيقات ذات متطلبات صارمة للتأخير. تُسرّع الطرق الحالية لتسريع الاستدلال، مثل التقطيع (pruning) والتكميم (quantization)، من أداء GNNs من خلال تقليل العمليات الحسابية من نوع الضرب والجمع (MAC)، لكن هذه التحسينات تكون محدودة نظرًا لعدم حل مشكلة الاعتماد على البيانات. في المقابل، تتمتع الشبكات العصبية متعددة الطبقات (MLPs) بغياب الاعتماد على البنية الرسومية، وتحسّن من سرعة الاستدلال بشكل كبير مقارنة بـ GNNs، حتى وإن كانت أقل دقة في مهام تصنيف العقد عادةً. مستوحين من هذه المزايا والعيوب المكملة، ندمج بين GNNs وMLPs باستخدام تقنية تحوّل المعرفة (Knowledge Distillation - KD). تُظهر نتائج عملنا أن دقة MLPs يمكن تحسينها بشكل كبير من خلال تطبيق KD مع GNNs. ونُطلق على MLPs المُستخلصة اسم "الشبكات العصبية الخالية من الرسوم" (Graph-less Neural Networks - GLNNs)، نظرًا لعدم اعتمادها على بنية رسمية أثناء الاستدلال. نُظهر أن GLNNs ذات دقة تنافسية تستند إلى استدلال أسرع بـ 146 إلى 273 مرة مقارنة بـ GNNs، وأسرع بـ 14 إلى 27 مرة مقارنة بطرق تسريع أخرى. وفي بيئة تشغيلية حقيقية تشمل توقعات تحوّلية ومتغيرة عبر 7 مجموعات بيانات، تُظهر GLNNs تحسنًا في الدقة بمتوسط 12.36% مقارنة بـ MLPs المستقلة، وتُطابق دقة GNNs في 6 من أصل 7 مجموعات بيانات. كما تُشير التحليلات الشاملة إلى الظروف والأسباب التي تُمكن GLNNs من تحقيق دقة تنافسية مع GNNs، مما يجعلها خيارًا عمليًا مثاليًا للتطبيقات التي تفرض قيودًا صارمة على التأخير.