الشبكات العصبية التلافيفية العميقة جدًا قد أدخلت مشكلات جديدة مثل تلاشي التدرج والانحلال. من بين الإسهامات الناجحة الحديثة في حل هذه المشكلات نجد شبكات البقايا (Residual Networks) وشبكات الطريق السريع (Highway Networks). تقوم هذه الشبكات بتنفيذ اتصالات قفزية تسمح بمزيد من تدفق المعلومات (من المدخل أو تلك التي تم تعلمها في الطبقات الأولى) إلى الطبقات الأعمق. أدت هذه النماذج العميقة جدًا إلى انخفاض كبير في أخطاء الاختبار، على مقاييس مثل ImageNet وCOCO. في هذا البحث، نقترح استخدام الوحدة الخطية الأسية بدلاً من تركيبة الوحدة الخطية المستطيلة (ReLU) وتطبيع الدفعة (Batch Normalization) في شبكات البقايا. نوضح أن هذا ليس فقط يسرع عملية التعلم في شبكات البقايا بل يحسن الدقة أيضًا مع زيادة العمق. كما أنه يحسن خطأ الاختبار على معظم مجموعات البيانات، مثل CIFAR-10 وCIFAR-100.