تقليم المرشحات لتحسين كفاءة شبكات الـ ConvNets

إن نجاح شبكات النيورونات التلافيفية (CNNs) في مختلف التطبيقات يأتي مصحوبًا بزيادة كبيرة في تكاليف الحساب وتخزين المعلمات. وقد تضمنت الجهود الأخيرة لتقليل هذه الأعباء تقليم وزن الطبقات المختلفة وضغطها دون الإضرار بدقة النموذج الأصلي. ومع ذلك، فإن تقليم الوزن القائم على القيمة المطلقة يقلل من عدد كبير من المعلمات في الطبقات المتصلة بالكامل، وقد لا يكون كافيًا لتقليل تكاليف الحساب في الطبقات التلافيفية بسبب الندرة غير المنتظمة في الشبكات المتقلمة. نقدم هنا طريقة تسريع لشبكات النيورونات التلافيفية، حيث نقوم بتقليم المرشحات من شبكات النيورونات التلافيفية التي تم تحديدها بأن لها تأثيرًا صغيرًا على دقة النموذج. وبإزالة المرشحات بأكملها مع الخرائط المميزة المتصلة بها، يتم تقليل تكاليف الحساب بشكل كبير. على عكس تقليم الوزن، لا يؤدي هذا النهج إلى أنماط اتصال نادرة. وبالتالي، لا يحتاج إلى دعم مكتبات التلافيف النادرة ويمكنه العمل مع المكتبات الفعالة الحالية لـ BLAS (Basic Linear Algebra Subprograms) للضرب الكثيف للمصفوفات. نوضح أن حتى التقنيات البسيطة لتقليم المرشحات يمكن أن تقلل من تكاليف الاستدلال لـ VGG-16 بنسبة تصل إلى 34% ولـ ResNet-110 بنسبة تصل إلى 38% على مجموعة بيانات CIFAR10 بينما يتم استعادة الدقة الأصلية تقريبًا بإعادة تدريب الشبكات.