Search for a command to run...
Date
مشكلة التدرج المتلاشييحدث هذا بشكل أساسي في الشبكات العصبية الاصطناعية المدربة باستخدام الانحدار التدريجي والانتشار الخلفي. في تكرارات طرق التدريب هذه، تكون القيمة المحدثة لأوزان الشبكة العصبية متناسبة مع تدرج دالة الخطأ، ولكن قيمة التدرج تختفي تقريبًا في بعض الحالات، وبالتالي لا يمكن تحديث الأوزان بشكل فعال ولا يمكن الاستمرار في تدريب الشبكة العصبية.
في وظائف التنشيط التقليدية، مثل دالة الظل الزائدي، تكون قيمة التدرج في نطاق (0، 1)، ولكن الانتشار الخلفي يحسب التدرج من خلال قاعدة السلسلة. عندما تحسب هذه الطريقة تدرج الطبقة السابقة، فإن ذلك يعادل ضرب N رقمًا أصغر، مما يجعل التدرج يتناقص بشكل أسي مع N، مما يؤدي إلى تدريب أبطأ للطبقات السابقة.
From idea to launch — accelerate your AI development with free AI co-coding, out-of-the-box environment and best price of GPUs.
Search for a command to run...
Date
مشكلة التدرج المتلاشييحدث هذا بشكل أساسي في الشبكات العصبية الاصطناعية المدربة باستخدام الانحدار التدريجي والانتشار الخلفي. في تكرارات طرق التدريب هذه، تكون القيمة المحدثة لأوزان الشبكة العصبية متناسبة مع تدرج دالة الخطأ، ولكن قيمة التدرج تختفي تقريبًا في بعض الحالات، وبالتالي لا يمكن تحديث الأوزان بشكل فعال ولا يمكن الاستمرار في تدريب الشبكة العصبية.
في وظائف التنشيط التقليدية، مثل دالة الظل الزائدي، تكون قيمة التدرج في نطاق (0، 1)، ولكن الانتشار الخلفي يحسب التدرج من خلال قاعدة السلسلة. عندما تحسب هذه الطريقة تدرج الطبقة السابقة، فإن ذلك يعادل ضرب N رقمًا أصغر، مما يجعل التدرج يتناقص بشكل أسي مع N، مما يؤدي إلى تدريب أبطأ للطبقات السابقة.
From idea to launch — accelerate your AI development with free AI co-coding, out-of-the-box environment and best price of GPUs.