الخريطة المعرفية في شبكات البقايا العميقة

شبكات البقايا العميقة ظهرت كعائلة من المعماريات ذات العمق الشديد التي تظهر دقة مثيرة للإعجاب وسلوك تقارب جيد. في هذا البحث، نحلل الصيغ الخاصة بنشر الإشارات خلف الوحدات البنائية للبقايا، والتي تقترح أن الإشارات الأمامية والخلفية يمكن أن تنتشر مباشرة من وحدة إلى أي وحدة أخرى عند استخدام الخرائط المتطابقة كروابط القفز وبعد التنشيط الإضافي. سلسلة من التجارب الاستبعادية تدعم أهمية هذه الخرائط المتطابقة. هذا يحفزنا على اقتراح وحدة بقايا جديدة، والتي تسهل التدريب وتحسن التعميم. نبلغ عن نتائج محسنة باستخدام شبكة ResNet ذات 1001 طبقة على CIFAR-10 (4.62% خطأ) وعلى CIFAR-100، وكذلك باستخدام شبكة ResNet ذات 200 طبقة على ImageNet. الرمز متاح في: https://github.com/KaimingHe/resnet-1k-layers