Qimera: التكميم بدون بيانات باستخدام عينات حدودية مصنعة

يُعرف تكميم النماذج (model quantization) بأنه طريقة واعدة لضغط الشبكات العصبية العميقة، خاصةً للاستدلال على الأجهزة المحمولة الخفيفة أو أجهزة الحواف. ومع ذلك، فإن تكميم النماذج عادةً ما يتطلب الوصول إلى بيانات التدريب الأصلية للحفاظ على دقة نماذج الدقة الكاملة، وهو أمر غير ممكن غالبًا في السيناريوهات الواقعية بسبب قضايا الأمن والخصوصية. من الطرق الشائعة التي يمكن استخدامها لأداء التكميم دون الوصول إلى البيانات الأصلية هي استخدام عينات مولدة صناعيًا، بناءً على إحصائيات التطبيع بالدفعة (batch-normalization statistics) أو التعلم المعادي (adversarial learning). ومع ذلك، فإن العيب الرئيسي لهذه الطرق هو أنها تعتمد بشكل أساسي على إدخال الضوضاء العشوائية للمولد للحصول على تنوع في العينات الصناعية. نجد أن هذا غالبًا ما يكون غير كافٍ لالتقاط توزيع البيانات الأصلية، خاصة حول حدود القرار.لذلك، نقترح Qimera، وهي طريقة تستخدم تمثيلات الكامنة المركبة (superposed latent embeddings) لتوليد عينات صناعية تدعم الحدود. لكي تعكس التمثيلات المركبة التوزيع الأصلي بشكل أفضل، نقترح أيضًا استخدام طبقة خرائط فك الارتباط الإضافية واستخراج المعلومات من نموذج الدقة الكاملة. تظهر النتائج التجريبية أن Qimera تحقق أداءً رائدًا في مجموعة متنوعة من الإعدادات للتكميم بدون بيانات. يمكن الحصول على الكود من الرابط: https://github.com/iamkanghyunchoi/qimera.