تقليل الشبكة العصبية يقلل من التكلفة الحسابية للشبكة المُفرطة المُعاملات لتحسين كفاءتها. تتفاوت الطرق الشائعة من التخفيف بناءً على القيمة المطلقة ($\ell_1$ℓ1​-norm) إلى بحث البنية العصبية (NAS). في هذه الدراسة، نقترح طريقة جديدة للتخفيف تُحسّن من الدقة النهائية للشبكة المُخفّفة، وتمتص المعرفة من الطبقات الداخلية للشبكة الأصلية المُفرطة المُعاملات. ولتمكين هذه الطريقة، نُصِرُّ تخفيف الشبكة كمشكلة حقيبة الظهر (Knapsack Problem)، والتي تُحسّن التوازن بين أهمية الخلايا العصبية وتكاليفها الحسابية المرتبطة بها. ثم نقوم بتخفيف قنوات الشبكة مع الحفاظ على البنية عالية المستوى للشبكة. ونُعدّل الدقة النهائية للشبكة المُخفّفة تحت إشراف الشبكة الأصلية باستخدام المعرفة الداخلية للشبكة، وهي تقنية نسميها "نقل المعرفة الداخلية" (Inner Knowledge Distillation). تؤدي طريقة التخفيف هذه إلى نتائج مُتفوّقة على مستوى الحالة الحالية (state-of-the-art) على مجموعة بيانات ImageNet، وCIFAR-10، وCIFAR-100 باستخدام هيكل أساسي من نوع ResNet. ولتخفيف هياكل الشبكات المعقدة مثل التحويلات ذات الروابط الجانبية (skip-links) والتحويلات العميقة (depth-wise convolutions)، نقترح منهجية تجميع الكتل (block grouping) لمعالجة هذه الهياكل. وباستخدام هذه الطريقة، نُنتج هياكل مدمجة ذات نفس عدد العمليات الحسابية (FLOPs) كـ EfficientNet-B0 وMobileNetV3، ولكن بتحقيق دقة أعلى بـ 1% و0.3% على التوالي في مجموعة بيانات ImageNet، مع وقت تشغيل أسرع على وحدة معالجة الرسومات (GPU).