يهمّ الفصل: طرق الحد الأدنى المسطح لتحسين أداء الشبكات العصبية الرسومية

عند تدريب شبكة عصبية، يتم تحسينها باستخدام بيانات التدريب المتاحة، مع التمني بأن تُعامَل بشكل جيد على بيانات الاختبار الجديدة أو غير المرئية. يُفترض أن يكون الحد الأدنى المسطح في هندسة دالة الخسارة أفضل من الحد الأدنى الحاد عند نفس القيمة المطلقة. تم بحث الطرق المُستخدمة لتحديد الحدود الدنيا المسطحة بشكل رئيسي في البيانات المستقلة والموحدة التوزيع (i.i.d.) مثل الصور. أما الرسوم البيانية فهي بطبيعتها ليست مستقلة وموحدة التوزيع، نظرًا لأن الرؤوس متصلة بحافة. نستعرض طرق الحدود الدنيا المسطحة ونُجري تجارب على تجميع هذه الطرق لتدريب الشبكات العصبية الرسومية (GNNs). نستخدم نماذج GCN وGAT، كما نوسع نطاق Graph-MLP لكي تعمل مع طبقات أكثر ورسوم بيانية أكبر. نُجري تجارب على مجموعات بيانات صغيرة وكبيرة من مجالات الاقتباس، والشراء المشترك، والبروتينات، باستخدام تقسيمات تدريب واختبار مختلفة ضمن بيئة التدريب التحويلية (transductive) والمتقنية (inductive). تُظهر النتائج أن طرق الحدود الدنيا المسطحة يمكن أن تُحسّن أداء نماذج GNNs بمقدار أكثر من نقطتين، إذا كان تقسيم التدريب والاختبار عشوائيًا. وفقًا لشتشور وآخرون، فإن التقسيمات العشوائية ضرورية لتقييم عادل للشبكات العصبية الرسومية، لأن التقسيمات الأخرى (الثابتة) مثل "Planetoid" مُتحيزة. بشكل عام، نقدم رؤى مهمة لتحسين وتقدير عادل لطرق الحدود الدنيا المسطحة في الشبكات العصبية الرسومية. نوصي الممارسين باستخدام تقنيات متوسطة الأوزان دائمًا، وبشكل خاص EWA عند استخدام التوقف المبكر. على الرغم من أن تقنيات متوسطة الأوزان ليست دائمًا الأفضل أداءً، إلا أنها أقل حساسية للمعاملات، ولا تتطلب تدريبًا إضافيًا، وتحافظ على النموذج الأصلي دون تغيير. يتوفر كل كود المصدر عبر الرابط التالي: https://github.com/Foisunt/FMMs-in-GNNs.