تصحيح الانحياز في البيانات في التدريب المعرفي

تُعد تقنية تحويل المعرفة (Knowledge Distillation) تقنية تمثيلية لضغط النماذج وتسريعها، وهي ذات أهمية بالغة في نشر الشبكات العصبية على الأجهزة ذات الموارد المحدودة. تتمثل المعرفة التي تُنقل من النموذج المُعلّم (الأساتذة) إلى النموذج المُتعلم (الطلاب) في التمثيل الوظيفي للنموذج المُعلّم، أو يمكن تمثيلها من خلال جميع أزواج المدخلات والمخرجات. ومع ذلك، في الممارسة العملية، يتعلم النموذج المُتعلم فقط من أزواج البيانات الخاصة بمجموعة البيانات، والتي قد تكون مشوهة (مُتحيزة)، ونعتقد أن هذا يُحد من أداء تقنية تحويل المعرفة. في هذه الورقة، نقوم أولًا بتعريف كمي لموحدية البيانات المستمدة لتدريب النموذج، مما يوفر منظورًا موحدًا للطرق التي تتعلم من بيانات مُتحيزة. ثم نقيّم مُؤشر الموحدية على مجموعات بيانات واقعية، ونُظهر أن الطرق الحالية تُحسّن فعليًا من مُؤشر موحدية البيانات. ونُقدّم بعد ذلك طريقتين مُوجّهتين نحو الموحدية لتصحيح التحيّز في البيانات المستخدمة في تحويل المعرفة. وقد أظهرت تجارب واسعة أجريت على مهام التعرف على الوجوه (Face Recognition) وإعادة التعرف على الأشخاص (Person Re-identification) فعالية طريقتنا. علاوة على ذلك، نحلّل البيانات المستمدة في مهمة التعرف على الوجوه، ونُظهر أن توازنًا أفضل قد تم تحقيقه بين الأعراق، وبين العينات السهلة والصعبة. ويمكن التأكد من هذا التأثير أيضًا عند تدريب النموذج المُتعلم من الصفر، مما يؤدي إلى أداء مُماثل لأداء تحويل المعرفة القياسي.