التفعيل المُتَأَقِّل المُعَامَلَاتِي

تلعب دالة التنشيط دورًا حاسمًا في تحسين النماذج، ومع ذلك لا يزال الخيار الأمثل غير واضح. على سبيل المثال، تعتبر دالة التنشيط السيجمويدية (Sigmoid) هي الدالة القياسية في مهام التصنيف المتوازنة، ولكنها تثبت عدم ملاءمتها في التصنيف غير المتوازن بسبب انحيازها نحو الفئات الأكثر شيوعًا. في هذا البحث، نقوم بدراسة أعمق لهذا الظاهرة من خلال إجراء تحليل إحصائي شامل في طبقات التصنيف والطبقات الوسيطة لكل من الشبكات المتوازنة وغير المتوازنة، ونظهر بالتجربة أن مواءمة دالة التنشيط مع توزيع البيانات تعزز الأداء في كلتا المهمتين. لهذه الغاية، نقترح دالة التنشيط ذات المعامل المرنة (APA)، وهي دالة تنشيط جديدة ومتنوعة تجمع معظم الدوال الشائعة تحت صيغة واحدة. يمكن تطبيق APA في الطبقات الوسيطة وفي طبقات الانتباه، مما يؤدي إلى تحقيق أداء أفضل بكثير من الحالة المعاصرة للفن على عدة مقاييس غير متوازنة مثل ImageNet-LT و iNaturalist2018 و Places-LT و CIFAR100-LT و LVIS وعلى مقاييس متوازنة مثل ImageNet1K و COCO و V3DET. الرمز البرمجي متاح على الرابط https://github.com/kostas1515/AGLU.