HyperAIHyperAI

Command Palette

Search for a command to run...

الكمّة بخطوة التعلم

Steven K. Esser; Jeffrey L. McKinstry; Deepika Bablani; Rathinakumar Appuswamy; Dharmendra S. Modha

الملخص

الشبكات العميقة التي تعمل بعمليات ذات دقة منخفضة أثناء الاستدلال تقدم مزايا في استهلاك الطاقة والمساحة مقارنة بالبدائل ذات الدقة العالية، ولكنها تحتاج إلى التغلب على تحدي الحفاظ على الدقة العالية مع انخفاض الدقة. في هذا البحث، نقدم طريقة لتدريب هذه الشبكات تسمى "الكممتة بخطوة التعلم" (Learned Step Size Quantization) والتي حققت أعلى دقة حتى الآن على مجموعة بيانات ImageNet عند استخدام نماذج من مجموعة متنوعة من الهندسات، مع وزن وتنشيط الكممتة إلى 2 أو 3 أو 4 بتات من الدقة، ويمكنها تدريب نماذج 3 بت تصل إلى دقة الأساس الكاملة. يعتمد نهجنا على الطرق الموجودة لتعلم الأوزان في الشبكات الكممتة من خلال تحسين كيفية تكوين المكمم نفسه. بشكل خاص، نقدم وسيلة جديدة لتقدير وتدرج خسارة المهمة في كل طبقة وزن وتنشيط، بحيث يمكن تعلم خطوة المكمم مع باقي معلمات الشبكة. يعمل هذا النهج باستخدام مستويات مختلفة من الدقة حسب احتياجات النظام المعطى ويحتاج فقط إلى تعديل بسيط في كود التدريب الموجود.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp