HyperAIHyperAI

Command Palette

Search for a command to run...

Qimera: التكميم بدون بيانات باستخدام عينات حدودية مصنعة

Kanghyun Choi Deokki Hong Noseong Park Youngsok Kim Jinho Lee

الملخص

يُعرف تكميم النماذج (model quantization) بأنه طريقة واعدة لضغط الشبكات العصبية العميقة، خاصةً للاستدلال على الأجهزة المحمولة الخفيفة أو أجهزة الحواف. ومع ذلك، فإن تكميم النماذج عادةً ما يتطلب الوصول إلى بيانات التدريب الأصلية للحفاظ على دقة نماذج الدقة الكاملة، وهو أمر غير ممكن غالبًا في السيناريوهات الواقعية بسبب قضايا الأمن والخصوصية. من الطرق الشائعة التي يمكن استخدامها لأداء التكميم دون الوصول إلى البيانات الأصلية هي استخدام عينات مولدة صناعيًا، بناءً على إحصائيات التطبيع بالدفعة (batch-normalization statistics) أو التعلم المعادي (adversarial learning). ومع ذلك، فإن العيب الرئيسي لهذه الطرق هو أنها تعتمد بشكل أساسي على إدخال الضوضاء العشوائية للمولد للحصول على تنوع في العينات الصناعية. نجد أن هذا غالبًا ما يكون غير كافٍ لالتقاط توزيع البيانات الأصلية، خاصة حول حدود القرار.لذلك، نقترح Qimera، وهي طريقة تستخدم تمثيلات الكامنة المركبة (superposed latent embeddings) لتوليد عينات صناعية تدعم الحدود. لكي تعكس التمثيلات المركبة التوزيع الأصلي بشكل أفضل، نقترح أيضًا استخدام طبقة خرائط فك الارتباط الإضافية واستخراج المعلومات من نموذج الدقة الكاملة. تظهر النتائج التجريبية أن Qimera تحقق أداءً رائدًا في مجموعة متنوعة من الإعدادات للتكميم بدون بيانات. يمكن الحصول على الكود من الرابط: https://github.com/iamkanghyunchoi/qimera.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
Qimera: التكميم بدون بيانات باستخدام عينات حدودية مصنعة | مستندات | HyperAI