التدقيق الدقيق للشبكات العصبية الرسومية من خلال الحفاظ على أنماط التوليد الرسومية

في الآونة الأخيرة، تم دراسة تطبيق نموذج التدريب المسبق والضبط الدقيق للشبكات العصبية الرسومية بشكل مكثف وتطبيقه في طيف واسع من مهام استخراج المعرفة من الرسومات. ويعزى نجاح هذا النموذج عادةً إلى التماسك البنائي بين بيانات التدريب المسبق والبيانات المستخدمة في المهام اللاحقة، وهو ما لا يتحقق في العديد من السياقات الواقعية. وقد أظهرت الدراسات السابقة أن الانفصال البنائي بين الرسومات المستخدمة في التدريب المسبق والرسومات المستخدمة في المهام اللاحقة يحد بشكل كبير من قابلية الانتقال عند استخدام استراتيجية الضبط الدقيق القياسية. يؤدي هذا الانفصال إلى تجاوز النموذج للانطباق (Overfitting) على الرسومات المستخدمة في التدريب المسبق، ويسبب صعوبات في استخلاص الخصائص البنائية للرسومات اللاحقة. في هذا البحث، نحدد السبب الجذري للانفصال البنائي على أنه الفرق في أنماط التوليد بين الرسومات المستخدمة في التدريب المسبق والرسومات اللاحقة. علاوةً على ذلك، نقترح نموذج G-Tuning بهدف الحفاظ على أنماط التوليد للرسومات اللاحقة. وبما أن الرسم البياني اللاحق هو G، فإن الفكرة الأساسية تكمن في ضبط الشبكة العصبية الرسومية المدربة مسبقًا بحيث تكون قادرة على إعادة بناء أنماط التوليد الخاصة بـ G، أي الرسم البياني الرمزي (graphon) W. ومع ذلك، يُعرف أن إعادة بناء الرسم البياني الرمزي بدقة أمر مكلف حسابيًا. لتجاوز هذا التحدي، نقدم تحليلًا نظريًا يثبت وجود مجموعة من الرسوم البيانية الرمزية البديلة تُسمى "أسس الرسم البياني الرمزي" (graphon bases) لأي رسم بياني رمزي معطى. وباستخدام تركيب خطي لهذه الأسس، يمكننا تقريب W بكفاءة. يشكل هذا الاكتشاف النظري الأساس لنموذجنا المقترح، حيث يمكّن من التعلم الفعّال لأسس الرسم البياني الرمزي ومعاملاتها المرتبطة بها. مقارنةً بالخوارزميات الحالية، تُظهر G-Tuning تحسنًا متوسطًا بنسبة 0.5% و2.6% في تجارب التعلم الانتقالي داخل المجال وخارج المجال على التوالي.