HyperAIHyperAI

Command Palette

Search for a command to run...

تصحيح الانحياز في البيانات في التدريب المعرفي

Yu Liu Haihang You Guanglu Song Shenghan Zhang Boxiao Liu

الملخص

تُعد تقنية تحويل المعرفة (Knowledge Distillation) تقنية تمثيلية لضغط النماذج وتسريعها، وهي ذات أهمية بالغة في نشر الشبكات العصبية على الأجهزة ذات الموارد المحدودة. تتمثل المعرفة التي تُنقل من النموذج المُعلّم (الأساتذة) إلى النموذج المُتعلم (الطلاب) في التمثيل الوظيفي للنموذج المُعلّم، أو يمكن تمثيلها من خلال جميع أزواج المدخلات والمخرجات. ومع ذلك، في الممارسة العملية، يتعلم النموذج المُتعلم فقط من أزواج البيانات الخاصة بمجموعة البيانات، والتي قد تكون مشوهة (مُتحيزة)، ونعتقد أن هذا يُحد من أداء تقنية تحويل المعرفة. في هذه الورقة، نقوم أولًا بتعريف كمي لموحدية البيانات المستمدة لتدريب النموذج، مما يوفر منظورًا موحدًا للطرق التي تتعلم من بيانات مُتحيزة. ثم نقيّم مُؤشر الموحدية على مجموعات بيانات واقعية، ونُظهر أن الطرق الحالية تُحسّن فعليًا من مُؤشر موحدية البيانات. ونُقدّم بعد ذلك طريقتين مُوجّهتين نحو الموحدية لتصحيح التحيّز في البيانات المستخدمة في تحويل المعرفة. وقد أظهرت تجارب واسعة أجريت على مهام التعرف على الوجوه (Face Recognition) وإعادة التعرف على الأشخاص (Person Re-identification) فعالية طريقتنا. علاوة على ذلك، نحلّل البيانات المستمدة في مهمة التعرف على الوجوه، ونُظهر أن توازنًا أفضل قد تم تحقيقه بين الأعراق، وبين العينات السهلة والصعبة. ويمكن التأكد من هذا التأثير أيضًا عند تدريب النموذج المُتعلم من الصفر، مما يؤدي إلى أداء مُماثل لأداء تحويل المعرفة القياسي.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
تصحيح الانحياز في البيانات في التدريب المعرفي | مستندات | HyperAI