ما مدى أهمية تناظر الوزن في الانتشار العكسي؟

الترجمة:تتطلب خوارزمية انتشار التدرج العكسي (BP) وجود اتصالات تغذية للأمام وتغذية راجعة متماثلة - يجب استخدام نفس الأوزان للمرور للأمام والمرور للخلف. يُعتقد أن هذه المشكلة المعروفة بـ "مشكلة نقل الأوزان" (Grossberg 1987) هي أحد الأسباب الرئيسية التي تثير الشكوك حول صحة BP من الناحية البيولوجية. باستخدام 15 مجموعة بيانات مختلفة للتصنيف، قمنا بدراسة منهجية لتحديد مدى اعتماد BP على تناظر الأوزان. في دراسة تبين أنها مشابهة بشكل مفاجئ في روحها لعرض Lillicrap وآخرون (Lillicrap et al. 2014)، ولكن متعامدة في نتائجها، أظهرت تجاربنا أن:1. لا تؤثر قيم الأوزان للتغذية الراجعة على الأداء.2. تؤثر علامات الأوزان للتغذية الراجعة - كلما كانت العلامات أكثر توافقًا بين اتصالات التغذية للأمام والتغذية الراجعة المقابلة لها، كان الأداء أفضل.3. باستخدام أوزان تغذية راجعة ذات قيم عشوائية وتوافق علامات بنسبة 100٪، تمكنا من تحقيق نفس مستوى الأداء أو حتى أفضل منه مقارنة بـ SGD.4. بعض عمليات التطبيع والاستقرار ضرورية لعمل BP غير المتماثل، مثل التطبيع الدُفعي (BN) (Ioffe و Szegedy 2015) و/أو قاعدة تحديث "مانهاتن الدُفعي" (BM).