استخلاص المعرفة من الشبكات العصبية الرسومية والتقدم عنها: إطار فعّال لنقل المعرفة

التعلم شبه المُشرَّف على الرسوم البيانية يُعدّ مشكلة مهمة في مجال التعلم الآلي. في السنوات الأخيرة، أظهرت الأساليب الحديثة المتطورة للتصنيف المستندة إلى الشبكات العصبية للرسوم البيانية (GNNs) تفوقها على الأساليب التقليدية مثل انتشار التسميات. ومع ذلك، فإن البنية المعقدة لهذه النماذج العصبية قد تؤدي إلى آلية تنبؤ معقدة، ما يمنع الاستفادة الكاملة من المعرفة السابقة القيّمة المُحتَمَلة في البيانات، مثل احتمال أن تمتلك العقد ذات البنية المرتبطة نفس الفئة. في هذا البحث، نقترح إطارًا يستند إلى تقنية استخلاص المعرفة (Knowledge Distillation) لمعالجة هذه المشكلات. يتمثل إطارنا في استخلاص المعرفة من أي نموذج GNN تم تعلمه مسبقًا (نموذج المعلم)، ثم دمجها في نموذج طالب مصمم بعناية. يُبنى نموذج الطالب باستخدام آلتي تنبؤ بسيطتين، وهما: انتشار التسميات والتحويل المميزات، اللتان يُحتفظان بشكل طبيعي بمعرفة مبنية على البنية ومعرفة مبنية على الميزات على التوالي. بشكل محدد، نصمم نموذج الطالب كمزيج قابل للتدريب من وحدتي انتشار تسميات مُعَدَّلة ببارامترات وتحويل ميزات. وبذلك، يمكن للنموذج المُتعلّم من الطالب الاستفادة من المعرفة السابقة، وكذلك من المعرفة المُستخلصة من نماذج GNN المعلّمة، لتحقيق تنبؤات أكثر فعالية. علاوةً على ذلك، يمتلك النموذج المُتعلّم من الطالب عملية تنبؤ أكثر شفافية من نماذج GNN. أجرينا تجارب على خمسة مجموعات بيانات معيارية عامة، واستخدمنا سبعة نماذج GNN، تشمل GCN و GAT و APPNP و SAGE و SGC و GCNII و GLP، كنماذج معلّمة. أظهرت النتائج التجريبية أن النموذج المُتعلّم من الطالب يمكنه تجاوز نموذج المعلم المقابل له بشكل متسق، بمتوسط تحسن يتراوح بين 1.4% إلى 4.7%. يمكن الوصول إلى الكود والبيانات من خلال الرابط التالي: https://github.com/BUPT-GAMMA/CPF