تحديث المتجهات المضطربة داخل الفضاء الوحدوي للتعلم العميق

في التعلم العميق، تلعب عملية التحسين دورًا جوهريًا. وبتركيز على تصنيف الصور، تُجري هذه الدراسة تحليلًا للإيجابيات والسلبيات للمُحسِّنات الشائعة الاستخدام، وتقترح مُحسِّنًا جديدًا يُدعى خوارزمية التناقص التدرجي للوحدة المُضطربة (PUGD)، والتي تمتد فيها عملية التدرج المُعَدّل (المعياري) داخل التنسور ضمن عملية الاضطراب لتحديث المعاملات في الفضاء الوحدوي. من خلال مجموعة من التجارب والتحليلات، نُظهر أن PUGD تُحقق تحديثًا محدودًا محليًا، أي أن التحديثات تُخضع لرقابة دورية. من ناحية أخرى، يمكن لـ PUGD دفع النماذج نحو حد أدنى مسطح، حيث تظل القيمة الخاطئة تقريبًا ثابتة، وذلك ليس فقط بسبب الطبيعة التي تمنع الاقتران بالنقاط الثابتة في عملية المعيارية للتفاضل، بل أيضًا من خلال فحص "الحدة" داخل الكرة الوحدوية. ومن خلال سلسلة من التجارب الصارمة، أظهرت PUGD قدرتها على تمكين النماذج من تحقيق دقة أعلى في فئة Top-1 على مجموعة Tiny ImageNet، ونتائج تنافسية على مجموعات CIFAR-10 وCIFAR-100. نُفتح كودنا المصدر على الرابط التالي: https://github.com/hanktseng131415go/PUGD.