HyperAIHyperAI

Command Palette

Search for a command to run...

التحسين الدقيق للشبكات العصبية الرسومية من خلال النقل الأمثل المُحَفَّز بالهيكل الرسومي

Jiying Zhang Xi Xiao Long-Kai Huang Yu Rong Yatao Bian

الملخص

في الآونة الأخيرة، لاقت منهجية التدريب المسبق ثم التحسين (pretrain-finetuning) اهتمامًا كبيرًا في مجتمع تعلم الرسوم البيانية بفضل قدرتها على تخفيف مشكلة نقص التسميات في العديد من التطبيقات الواقعية. تستخدم الدراسات الحالية تقنيات موجودة، مثل قيود الوزن وقيود التمثيل، التي تم استخلاصها من بيانات الصور أو النصوص، لنقل المعرفة الثابتة من مرحلة التدريب المسبق إلى مرحلة التحسين. ومع ذلك، فشلت هذه الطرق في الحفاظ على الخصائص الثابتة الناتجة عن البنية الهيكلية للرسوم البيانية ونماذج الشبكات العصبية الرسومية (GNN). في هذه الورقة، نقدّم إطارًا جديدًا للتحسين يعتمد على النقل الأمثل يُسمى GTOT-Tuning، أي التحسين المُحَفَّز بالبنية الهيكلية للرسوم البيانية (Graph Topology induced Optimal Transport fine-Tuning)، مخصصًا للنماذج الأساسية من نوع GNN. يعتمد GTOT-Tuning على خصائص بيانات الرسوم البيانية لتعزيز الحفاظ على التمثيلات الناتجة عن الشبكات المُحسَّنة. لتحقيق هذا الهدف، نُصِف نقل المعرفة المحلية للرسم البياني كمشكلة نقل أمثل (Optimal Transport - OT) مع افتراض هيكلية مسبقة، ونُنشئ مُعدّل GTOT لتحديد سلوك النموذج المُحسَّن. وباستخدام علاقة الجوار بين العقد، يحقق مُعدّل GTOT عمليات نقل أمثل على مستوى العقد، ويقلل من العمليات الزائدة للنقل، مما يؤدي إلى نقل فعّال للمعرفة من النماذج المُدرَّبة مسبقًا. وقد قُمنا بتقييم GTOT-Tuning على ثمانية مهام تطبيقية ضمن نطاقات متنوعة باستخدام نماذج GNN مختلفة، وتمكّنا من إثبات أنه يحقق أفضل أداء ممكن في التحسين للنماذج GNN.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp