HyperAIHyperAI

Command Palette

Search for a command to run...

التنظيم العميق والتدريب المباشر للطبقات الداخلية للشبكات العصبية باستخدام تدفقات النواة

Gene Ryan Yoo Houman Owhadi

الملخص

نقدم طريقة ت régularization جديدة لشبكات العصب الاصطناعية (ANNs) تعتمد على ما يُعرف بـ "تدفقات النواة" (Kernel Flows، KFs). وقد تم تقديم KFs كطريقة لاختيار النواة في التقديرات التكاملية (الانحدار/الكريبينغ) بناءً على تقليل فقدان الدقة الناتج عن تقسيم عدد نقاط التداخل إلى النصف في عينات عشوائية من البيانات. وبكتابة fθ(x)=(f(n)θnf(n1)θn1f(1)θ1)(x)f_θ(x) = \big(f^{(n)}{θ_n}\circ f^{(n-1)}{θ_{n-1}} \circ \dots \circ f^{(1)}{θ_1}\big)(x)fθ(x)=(f(n)θnf(n1)θn1f(1)θ1)(x) لتمثيل الدالة للهيكل التوافقي للشبكة العصبية، فإن مخرجات الطبقات الداخلية h(i)(x)=(f(i)θif(i1)θi1fθ1(1))(x)h^{(i)}(x) = \big(f^{(i)}{θ_i}\circ f^{(i-1)}{θ{i-1}} \circ \dots \circ f^{(1)}_{θ_1}\big)(x)h(i)(x)=(f(i)θif(i1)θi1fθ1(1))(x) تُشكّل هرمًا من تطبيقات الميزات (feature maps) والنوّات k(i)(x,x)=exp(γih(i)(x)h(i)(x)22)k^{(i)}(x,x')=\exp(- γ_i \|h^{(i)}(x)-h^{(i)}(x')\|_2^2)k(i)(x,x)=exp(γih(i)(x)h(i)(x)22). عند دمج هذه النوّات مع عينة من البيانات، تُنتج خسائر KF، e2(i)e_2^{(i)}e2(i) (أي خطأ الانحدار L2L^2L2 الناتج عن استخدام نصف عينة عشوائية للتنبؤ بالنصف الآخر)، وهي تعتمد على معاملات الطبقات الداخلية θ1,,θiθ_1,\ldots,θ_iθ1,,θiγiγ_iγi). تتمثل الطريقة المقترحة ببساطة في جمع مجموعة جزئية من هذه الخسائر KF مع خسارة المخرجات التقليدية. وقد تم اختبار هذه الطريقة على الشبكات العصبية التلافيفية (CNNs) والشبكات العميقة ذات التوصيل الواسع (WRNs) دون تعديل هيكل الشبكة أو تصنيف المخرجات، ولاحظنا تقليلًا في أخطاء التقييم، وانكماشًا في الفجوة بين التعميم (generalization gap)، وزيادة في المرونة أمام التغير في التوزيع (distribution shift)، دون زيادة كبيرة في التعقيد الحسابي. ونعتقد أن هذه النتائج قد تُفسر بحقيقة أن التدريب التقليدي يستخدم فقط دالة خطية (أي لحظة معممة) للتوزيع التجريبي المُعرّف بالبيانات، وهو ما يجعله عرضة للانحباس في نطاق نواة التماس العصبي (Neural Tangent Kernel regime)، خصوصًا تحت الظروف التي تتميز بتفعيل مفرط (over-parameterization). أما الدالة الخسارة المقترحة (التي تُعرف كدالة غير خطية للتوزيع التجريبي)، فهي فعّالة في تدريب النواة الكامنة المحددة بواسطة الشبكة العصبية التلافيفية (CNN) بشكل يتجاوز مجرد الانحدار على البيانات باستخدام تلك النواة.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
التنظيم العميق والتدريب المباشر للطبقات الداخلية للشبكات العصبية باستخدام تدفقات النواة | مستندات | HyperAI