تعتمد الشبكة المتبقية "ResNet" على شبكة بسيطة وتحولها إلى نسخة متبقية مقابلة عن طريق إدراج روابط مختصرة. لا يتناسب مباشرة مع الهدف، لكنه يتناسب مع المتبقي.

الفكرة الأساسية لـ ResNet هي تقديم مفهوم "اتصال الاختصار" لتسهيل التحسين. تُسمى الشبكة متعددة الطبقات التي تحتوي على "اتصال اختصار" بالكتلة المتبقية (اتصال اختصار، أي السهم من x إلى ⨁ على الجانب الأيمن من الشكل).

إذا كان النموذج الأصلي يبحث عن معلمات في مساحة الدالة F(x)، فإن الشبكة المتبقية تبحث عن معلمات في مساحة x + f(x).

قواعد تصميم الشبكة المتبقية:

بالنسبة لعلم الوجود الشبكي المتبقي، هناك نقطتان رئيسيتان:

• أنوية التفاف بنفس مقياس خريطة الميزات والعدد؛
• يتم مضاعفة عدد خرائط المعالم بينما يتم تقليص حجم خرائط المعالم إلى النصف.

هناك حلين للروابط السريعة:

• املأ بالرقم 0 حولها لزيادة البعد؛
• استخدم الإسقاط السريع.

مزايا الشبكات المتبقية:

• سهل التدريب
• شبكة خطية قابلة للتعميق
• يمكن زراعتها
• يمكن أن تصل إلى 1000 طبقة من الدقة
• يمكن حل مشكلة اختفاء التدرج عن طريق التحديث العكسي

تطبيق الشبكة المتبقية:

التعرف البصري، وتوليد الصور، ومعالجة اللغة الطبيعية، والتعرف على الكلام، والإعلان، وتوقع المستخدم