HyperAIHyperAI

Command Palette

Search for a command to run...

يهمّ الفصل: طرق الحد الأدنى المسطح لتحسين أداء الشبكات العصبية الرسومية

Nicolas Lell Ansgar Scherp

الملخص

عند تدريب شبكة عصبية، يتم تحسينها باستخدام بيانات التدريب المتاحة، مع التمني بأن تُعامَل بشكل جيد على بيانات الاختبار الجديدة أو غير المرئية. يُفترض أن يكون الحد الأدنى المسطح في هندسة دالة الخسارة أفضل من الحد الأدنى الحاد عند نفس القيمة المطلقة. تم بحث الطرق المُستخدمة لتحديد الحدود الدنيا المسطحة بشكل رئيسي في البيانات المستقلة والموحدة التوزيع (i.i.d.) مثل الصور. أما الرسوم البيانية فهي بطبيعتها ليست مستقلة وموحدة التوزيع، نظرًا لأن الرؤوس متصلة بحافة. نستعرض طرق الحدود الدنيا المسطحة ونُجري تجارب على تجميع هذه الطرق لتدريب الشبكات العصبية الرسومية (GNNs). نستخدم نماذج GCN وGAT، كما نوسع نطاق Graph-MLP لكي تعمل مع طبقات أكثر ورسوم بيانية أكبر. نُجري تجارب على مجموعات بيانات صغيرة وكبيرة من مجالات الاقتباس، والشراء المشترك، والبروتينات، باستخدام تقسيمات تدريب واختبار مختلفة ضمن بيئة التدريب التحويلية (transductive) والمتقنية (inductive). تُظهر النتائج أن طرق الحدود الدنيا المسطحة يمكن أن تُحسّن أداء نماذج GNNs بمقدار أكثر من نقطتين، إذا كان تقسيم التدريب والاختبار عشوائيًا. وفقًا لشتشور وآخرون، فإن التقسيمات العشوائية ضرورية لتقييم عادل للشبكات العصبية الرسومية، لأن التقسيمات الأخرى (الثابتة) مثل "Planetoid" مُتحيزة. بشكل عام، نقدم رؤى مهمة لتحسين وتقدير عادل لطرق الحدود الدنيا المسطحة في الشبكات العصبية الرسومية. نوصي الممارسين باستخدام تقنيات متوسطة الأوزان دائمًا، وبشكل خاص EWA عند استخدام التوقف المبكر. على الرغم من أن تقنيات متوسطة الأوزان ليست دائمًا الأفضل أداءً، إلا أنها أقل حساسية للمعاملات، ولا تتطلب تدريبًا إضافيًا، وتحافظ على النموذج الأصلي دون تغيير. يتوفر كل كود المصدر عبر الرابط التالي: https://github.com/Foisunt/FMMs-in-GNNs.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp