وحدة خطية مصححة

وحدة التصحيح الخطي(ReLU)، والمعروفة أيضًا باسم دالة المقوم الخطية، هي دالة تنشيط تستخدم عادةً في الشبكات العصبية الاصطناعية، وعادةً ما تشير إلى الدوال غير الخطية التي يمثلها دوال المنحدر ومتغيراتها.

مميزات وحدة التصحيح الخطي

تتضمن ReLUs الأكثر استخدامًا دالة المنحدر f (x) = max (0، x) ودالة المقوم المتسرب (ReLU المتسرب)، حيث x هو مدخل الخلية العصبية.

يُعتقد أن التصحيح الخطي له مبادئ بيولوجية معينة، ولأنه يعمل عادةً بشكل أفضل من وظائف التنشيط الأخرى المستخدمة بشكل شائع (مثل الوظائف اللوجستية) في الممارسة العملية، فإنه يستخدم على نطاق واسع في الشبكات العصبية العميقة اليوم في مجالات الذكاء الاصطناعي للرؤية الحاسوبية مثل التعرف على الصور.

ReLU هي وظيفة التنشيط الأكثر استخدامًا في الشبكات العصبية. إنه يحتفظ بالإلهام البيولوجي لوظيفة الخطوة (يتم تنشيط الخلية العصبية فقط عندما يتجاوز المدخل الحد الأقصى)، ولكن المشتق ليس صفرًا عندما يكون المدخل موجبًا، وبالتالي يسمح بالتعلم القائم على التدرج (على الرغم من أن المشتق غير محدد عندما x = 0).

يجعل استخدام هذه الوظيفة إجراء الحسابات سريعًا جدًا لأن الوظيفة ومشتقاتها لا تتضمن عمليات رياضية معقدة. ومع ذلك، عندما يكون الإدخال سلبيًا، فقد تصبح سرعة تعلم ReLU بطيئة للغاية، أو حتى تجعل الخلية العصبية غير صالحة بشكل مباشر، لأن الإدخال أقل من الصفر والتدرج يساوي صفرًا، وبالتالي لا يمكن تحديث وزنها وستظل صامتة لبقية عملية التدريب.

كلمات ذات صلة: دالة التنشيط

الكلمات الفرعية: منحدر كوري، دالة مقوم تسرب

مراجع:

【1】https://zh.wikipedia.org/wiki/وظيفة التصحيح الخطي

【2】https://www.jiqizhixin.com/articles/2017-10-10-3