HyperAIHyperAI

Command Palette

Search for a command to run...

تقليم المرشحات لتحسين كفاءة شبكات الـ ConvNets

Hao Li; Asim Kadav; Igor Durdanovic; Hanan Samet; Hans Peter Graf

الملخص

إن نجاح شبكات النيورونات التلافيفية (CNNs) في مختلف التطبيقات يأتي مصحوبًا بزيادة كبيرة في تكاليف الحساب وتخزين المعلمات. وقد تضمنت الجهود الأخيرة لتقليل هذه الأعباء تقليم وزن الطبقات المختلفة وضغطها دون الإضرار بدقة النموذج الأصلي. ومع ذلك، فإن تقليم الوزن القائم على القيمة المطلقة يقلل من عدد كبير من المعلمات في الطبقات المتصلة بالكامل، وقد لا يكون كافيًا لتقليل تكاليف الحساب في الطبقات التلافيفية بسبب الندرة غير المنتظمة في الشبكات المتقلمة. نقدم هنا طريقة تسريع لشبكات النيورونات التلافيفية، حيث نقوم بتقليم المرشحات من شبكات النيورونات التلافيفية التي تم تحديدها بأن لها تأثيرًا صغيرًا على دقة النموذج. وبإزالة المرشحات بأكملها مع الخرائط المميزة المتصلة بها، يتم تقليل تكاليف الحساب بشكل كبير. على عكس تقليم الوزن، لا يؤدي هذا النهج إلى أنماط اتصال نادرة. وبالتالي، لا يحتاج إلى دعم مكتبات التلافيف النادرة ويمكنه العمل مع المكتبات الفعالة الحالية لـ BLAS (Basic Linear Algebra Subprograms) للضرب الكثيف للمصفوفات. نوضح أن حتى التقنيات البسيطة لتقليم المرشحات يمكن أن تقلل من تكاليف الاستدلال لـ VGG-16 بنسبة تصل إلى 34% ولـ ResNet-110 بنسبة تصل إلى 38% على مجموعة بيانات CIFAR10 بينما يتم استعادة الدقة الأصلية تقريبًا بإعادة تدريب الشبكات.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp