وحدة خطية مصححة

وحدة التصحيح الخطي ReLU هي وظيفة تنشيط تستخدم بشكل شائع في الشبكات العصبية الاصطناعية. يُطلق عليها أيضًا اسم دالة التصحيح الخطية، وعادةً ما تشير إلى دالة غير خطية يتم تمثيلها بواسطة دالة منحدر ومتغيراتها.

مميزات وحدة التصحيح الخطي

تتضمن وحدات التصحيح الخطي المستخدمة بشكل شائع دالة المنحدر f (x) = max (0، x) ودالة التصحيح المتسربة Leaky ReLU، حيث يمثل x مدخلات الخلية العصبية.

يُعتقد أن التصحيح الخطي له مبادئ بيولوجية معينة. نظرًا لأنه يعمل عادةً بشكل أفضل من وظائف التنشيط الأخرى المستخدمة بشكل شائع في الممارسة العملية، فإنه يستخدم على نطاق واسع في الشبكات العصبية العميقة، بما في ذلك مجالات الرؤية الحاسوبية مثل التعرف على الصور.

باعتبارها وظيفة تنشيط مستخدمة بشكل شائع في الشبكات العصبية، تحتفظ ReLU بالإلهام البيولوجي لوظيفة الخطوة. عندما يكون المدخل موجبًا، فإن المشتق لا يساوي صفرًا، مما يسمح بالتعلم القائم على التدرج. عندما يكون الإدخال سلبيًا، فقد تتباطأ سرعة تعلم ReLU أو حتى تتسبب في فشل الخلية العصبية بشكل مباشر، لأن الإدخال أقل من الصفر والتدرج يساوي صفرًا، مما سيؤدي إلى فشل تحديث الأوزان والبقاء صامتة أثناء بقية عملية التدريب.

كلمات ذات صلة: دالة التنشيط

الكلمات الفرعية: منحدر كوري، دالة مقوم تسرب