التنظيم العميق والتدريب المباشر للطبقات الداخلية للشبكات العصبية باستخدام تدفقات النواة

نقدم طريقة ت régularization جديدة لشبكات العصب الاصطناعية (ANNs) تعتمد على ما يُعرف بـ "تدفقات النواة" (Kernel Flows، KFs). وقد تم تقديم KFs كطريقة لاختيار النواة في التقديرات التكاملية (الانحدار/الكريبينغ) بناءً على تقليل فقدان الدقة الناتج عن تقسيم عدد نقاط التداخل إلى النصف في عينات عشوائية من البيانات. وبكتابة $ f_θ(x) = \big(f^{(n)}{θ_n}\circ f^{(n-1)}{θ_{n-1}} \circ \dots \circ f^{(1)}{θ_1}\big)(x) $ لتمثيل الدالة للهيكل التوافقي للشبكة العصبية، فإن مخرجات الطبقات الداخلية $ h^{(i)}(x) = \big(f^{(i)}{θ_i}\circ f^{(i-1)}{θ{i-1}} \circ \dots \circ f^{(1)}_{θ_1}\big)(x) $ تُشكّل هرمًا من تطبيقات الميزات (feature maps) والنوّات $ k^{(i)}(x,x')=\exp(- γ_i \|h^{(i)}(x)-h^{(i)}(x')\|_2^2) $. عند دمج هذه النوّات مع عينة من البيانات، تُنتج خسائر KF، $ e_2^{(i)} $ (أي خطأ الانحدار $ L^2 $ الناتج عن استخدام نصف عينة عشوائية للتنبؤ بالنصف الآخر)، وهي تعتمد على معاملات الطبقات الداخلية $ θ_1,\ldots,θ_i $ (و$ γ_i $). تتمثل الطريقة المقترحة ببساطة في جمع مجموعة جزئية من هذه الخسائر KF مع خسارة المخرجات التقليدية. وقد تم اختبار هذه الطريقة على الشبكات العصبية التلافيفية (CNNs) والشبكات العميقة ذات التوصيل الواسع (WRNs) دون تعديل هيكل الشبكة أو تصنيف المخرجات، ولاحظنا تقليلًا في أخطاء التقييم، وانكماشًا في الفجوة بين التعميم (generalization gap)، وزيادة في المرونة أمام التغير في التوزيع (distribution shift)، دون زيادة كبيرة في التعقيد الحسابي. ونعتقد أن هذه النتائج قد تُفسر بحقيقة أن التدريب التقليدي يستخدم فقط دالة خطية (أي لحظة معممة) للتوزيع التجريبي المُعرّف بالبيانات، وهو ما يجعله عرضة للانحباس في نطاق نواة التماس العصبي (Neural Tangent Kernel regime)، خصوصًا تحت الظروف التي تتميز بتفعيل مفرط (over-parameterization). أما الدالة الخسارة المقترحة (التي تُعرف كدالة غير خطية للتوزيع التجريبي)، فهي فعّالة في تدريب النواة الكامنة المحددة بواسطة الشبكة العصبية التلافيفية (CNN) بشكل يتجاوز مجرد الانحدار على البيانات باستخدام تلك النواة.