HyperAIHyperAI

Command Palette

Search for a command to run...

ما مدى أهمية تناظر الوزن في الانتشار العكسي؟

Qianli Liao Joel Z. Leibo Tomaso Poggio

الملخص

الترجمة:تتطلب خوارزمية انتشار التدرج العكسي (BP) وجود اتصالات تغذية للأمام وتغذية راجعة متماثلة - يجب استخدام نفس الأوزان للمرور للأمام والمرور للخلف. يُعتقد أن هذه المشكلة المعروفة بـ "مشكلة نقل الأوزان" (Grossberg 1987) هي أحد الأسباب الرئيسية التي تثير الشكوك حول صحة BP من الناحية البيولوجية. باستخدام 15 مجموعة بيانات مختلفة للتصنيف، قمنا بدراسة منهجية لتحديد مدى اعتماد BP على تناظر الأوزان. في دراسة تبين أنها مشابهة بشكل مفاجئ في روحها لعرض Lillicrap وآخرون (Lillicrap et al. 2014)، ولكن متعامدة في نتائجها، أظهرت تجاربنا أن:1. لا تؤثر قيم الأوزان للتغذية الراجعة على الأداء.2. تؤثر علامات الأوزان للتغذية الراجعة - كلما كانت العلامات أكثر توافقًا بين اتصالات التغذية للأمام والتغذية الراجعة المقابلة لها، كان الأداء أفضل.3. باستخدام أوزان تغذية راجعة ذات قيم عشوائية وتوافق علامات بنسبة 100٪، تمكنا من تحقيق نفس مستوى الأداء أو حتى أفضل منه مقارنة بـ SGD.4. بعض عمليات التطبيع والاستقرار ضرورية لعمل BP غير المتماثل، مثل التطبيع الدُفعي (BN) (Ioffe و Szegedy 2015) و/أو قاعدة تحديث "مانهاتن الدُفعي" (BM).


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp