الكمّة بخطوة التعلم

الشبكات العميقة التي تعمل بعمليات ذات دقة منخفضة أثناء الاستدلال تقدم مزايا في استهلاك الطاقة والمساحة مقارنة بالبدائل ذات الدقة العالية، ولكنها تحتاج إلى التغلب على تحدي الحفاظ على الدقة العالية مع انخفاض الدقة. في هذا البحث، نقدم طريقة لتدريب هذه الشبكات تسمى "الكممتة بخطوة التعلم" (Learned Step Size Quantization) والتي حققت أعلى دقة حتى الآن على مجموعة بيانات ImageNet عند استخدام نماذج من مجموعة متنوعة من الهندسات، مع وزن وتنشيط الكممتة إلى 2 أو 3 أو 4 بتات من الدقة، ويمكنها تدريب نماذج 3 بت تصل إلى دقة الأساس الكاملة. يعتمد نهجنا على الطرق الموجودة لتعلم الأوزان في الشبكات الكممتة من خلال تحسين كيفية تكوين المكمم نفسه. بشكل خاص، نقدم وسيلة جديدة لتقدير وتدرج خسارة المهمة في كل طبقة وزن وتنشيط، بحيث يمكن تعلم خطوة المكمم مع باقي معلمات الشبكة. يعمل هذا النهج باستخدام مستويات مختلفة من الدقة حسب احتياجات النظام المعطى ويحتاج فقط إلى تعديل بسيط في كود التدريب الموجود.