تُعد الدوال التفعيل غير الخطية إحدى العناصر الأساسية في هياكل الشبكات العصبية العميقة. ويمكن أن تؤثر اختيار دالة التفعيل على سرعة النموذج والأداء والتقارب. تعتمد معظم الدوال التفعيل الشائعة على معلمات غير قابلة للتدريب ولا تتغير أثناء التدريب. نقترح استخدام دوال تفعيل مختلفة، بعضها يحتوي على معلمات قابلة للتدريب وبعضها لا يحتوي عليها. وتتمتع هذه الدوال بسلبيات وإيجابيات متعددة. وسنقوم باختبار أداء هذه الدوال المُقترحة ومقارنتها بنتائج دالة التفعيل الشهيرة جدًا، وهي ReLU. ونفترض أن الدوال التفعيل التي تحتوي على معلمات قابلة للتدريب يمكن أن تتفوق على تلك التي لا تحتوي عليها، نظرًا لأن المعلمات القابلة للتدريب تسمح للنموذج باختيار نوع دالة التفعيل الخاصة بكل طبقة بشكل تلقائي، لكن هذا التفوق يعتمد بشكل كبير على بنية الشبكة العصبية العميقة وطبيعة دالة التفعيل نفسها.