التحسين الدقيق للشبكات العصبية الرسومية من خلال النقل الأمثل المُحَفَّز بالهيكل الرسومي

في الآونة الأخيرة، لاقت منهجية التدريب المسبق ثم التحسين (pretrain-finetuning) اهتمامًا كبيرًا في مجتمع تعلم الرسوم البيانية بفضل قدرتها على تخفيف مشكلة نقص التسميات في العديد من التطبيقات الواقعية. تستخدم الدراسات الحالية تقنيات موجودة، مثل قيود الوزن وقيود التمثيل، التي تم استخلاصها من بيانات الصور أو النصوص، لنقل المعرفة الثابتة من مرحلة التدريب المسبق إلى مرحلة التحسين. ومع ذلك، فشلت هذه الطرق في الحفاظ على الخصائص الثابتة الناتجة عن البنية الهيكلية للرسوم البيانية ونماذج الشبكات العصبية الرسومية (GNN). في هذه الورقة، نقدّم إطارًا جديدًا للتحسين يعتمد على النقل الأمثل يُسمى GTOT-Tuning، أي التحسين المُحَفَّز بالبنية الهيكلية للرسوم البيانية (Graph Topology induced Optimal Transport fine-Tuning)، مخصصًا للنماذج الأساسية من نوع GNN. يعتمد GTOT-Tuning على خصائص بيانات الرسوم البيانية لتعزيز الحفاظ على التمثيلات الناتجة عن الشبكات المُحسَّنة. لتحقيق هذا الهدف، نُصِف نقل المعرفة المحلية للرسم البياني كمشكلة نقل أمثل (Optimal Transport - OT) مع افتراض هيكلية مسبقة، ونُنشئ مُعدّل GTOT لتحديد سلوك النموذج المُحسَّن. وباستخدام علاقة الجوار بين العقد، يحقق مُعدّل GTOT عمليات نقل أمثل على مستوى العقد، ويقلل من العمليات الزائدة للنقل، مما يؤدي إلى نقل فعّال للمعرفة من النماذج المُدرَّبة مسبقًا. وقد قُمنا بتقييم GTOT-Tuning على ثمانية مهام تطبيقية ضمن نطاقات متنوعة باستخدام نماذج GNN مختلفة، وتمكّنا من إثبات أنه يحقق أفضل أداء ممكن في التحسين للنماذج GNN.