الكمّة المعادية بدون تدريب مسبق

الكمّة النموذجية هي نهج واعد لضغط الشبكات العصبية العميقة وتسرع الاستدلال، مما يجعل من الممكن نشرها على الأجهزة المحمولة وأجهزة الحواف. للحفاظ على الأداء العالي للنماذج ذات الدقة الكاملة، تركز معظم طرق الكمّة الحالية على ضبط النموذج المكمم بفرض أن مجموعات البيانات التدريبية متاحة. ومع ذلك، فإن هذا الافتراض لا يتحقق أحيانًا في الحالات الواقعية بسبب قضايا خصوصية البيانات والأمان، مما يجعل هذه طرق الكمّة غير قابلة للتطبيق. لتحقيق الكمّة الصفرية بدون الوصول إلى بيانات التدريب، تتبنى بعض الطرق القليلة إما الكمّة بعد التدريب أو توليد البيانات بمساعدة إحصائيات التطبيع بالLots (Batch Normalization). ومع ذلك، فإن كلاهما يعاني حتمًا من الأداء المنخفض، حيث يكون الأول قليلاً جدًا تجريبيًا ويفتقر إلى دعم التدريب لكمّة الدقة الفائقة المنخفضة، بينما لا يمكن للثاني استعادة الخصائص الفريدة للبيانات الأصلية بشكل كامل وهو غالبًا ما يكون غير فعال لتوليد بيانات متنوعة. لحل المشكلات المذكورة أعلاه، نقترح إطار الكمّة المعادية الصفرية (ZAQ)، الذي يساعد في تقدير الاختلاف بنجاح ونقل المعرفة من نموذج ذو دقة كاملة إلى نموذجه المكمم. يتم تحقيق هذا من خلال نموذج اختلاف جديد ذي مستويين لتحفيز مولد لإنشاء أمثل لبيانات أمثل ومتنوعة بهدف تحسين النموذج المكمم بطريقة تعلم معادية. أجرينا تجارب شاملة على ثلاث مهام أساسية في الرؤية البصرية، مما يظهر تفوق ZAQ على خطوط الأساس الصفرية القوية ويثبت فعالية مكوناتها الرئيسية. يمكن الحصول على الكود من https://git.io/Jqc0y.