دوال نشاط متعددة الحدود، مثلثية، وطُرُقيّة

ما هي الدوال التي يمكن استخدامها كوظائف تنشيط (Activations) في الشبكات العصبية العميقة؟ يتناول هذا المقال عائلات من الدوال المستندة إلى قواعد متعامدة (Orthonormal Bases)، بما في ذلك قاعدة كثيرات الحدود هيرميت (Hermite Polynomial Basis) وقاعدة التوافيق المثلثية فورييه (Fourier Trigonometric Basis)، بالإضافة إلى قاعدة ناتجة عن عملية التropicalization (الاستعارة التropicalية) لقاعدة كثيرات الحدود. تُظهر دراستنا أنه من خلال مُبادئ تهيئة بسيطة تحافظ على التباين (Variance-Preserving Initialization) وبلا الحاجة إلى آليات إضافية للكبح (Clamping Mechanisms)، يمكن استخدام هذه الدوال كوظائف تنشيط بنجاح في تدريب نماذج عميقة، مثل نموذج GPT-2 لتنبؤ الرمز التالي على مجموعة بيانات OpenWebText، ونموذج ConvNeXt لتصنيف الصور على مجموعة بيانات ImageNet. يعالج عملنا مشكلة تضخم (Exploding) أو انعدام (Vanishing) القيم المُنشطة والمشتقات، وهي مشكلة شائعة بشكل خاص مع الدوال متعددة الحدود، ويُفتح الباب أمام تحسين كفاءة المهام التعليمية الضخمة. علاوة على ذلك، يُقدّم نهجنا رؤى حول البنية الداخلية للشبكات العصبية، مُظهراً أن الشبكات التي تستخدم دوال تنشيط متعددة الحدود يمكن تفسيرها على أنها تطبيقات متعددة المتغيرات لدوال كثيرة الحدود. أخيراً، باستخدام التداخل هيرميت (Hermite Interpolation)، نُظهر أن دوال التنشيط لدينا يمكنها تقريب الدوال التقليدية المستخدمة في النماذج المُدرّبة مسبقاً بدقة عالية من خلال مطابقة كل من الدالة ومشتقتها، مما يجعلها مثالية لمهام التخصيص الدقيق (Fine-tuning). تتوفر هذه الدوال في مكتبة torchortho، التي يمكن الوصول إليها عبر الرابط التالي: https://github.com/K-H-Ismail/torchortho.