كل شيء في الرأس: تدريب التعرف على المعرفة من خلال مشاركة الفاصل

تهدف التحويل المعرفي للتمثيل إلى نقل معلومات غنية من نموذج إلى آخر. تركز الطرق الشائعة لتحويل التمثيل بشكل رئيسي على تقليل المسافة مباشرة بين متجهات التضمين في النموذجين. قد تكون هذه الطرق المباشرة محدودة في نقل الاعتماديات من الدرجة العالية المضمنة في متجهات التمثيل، أو في التعامل مع الفجوة في القدرة بين النموذج المُعلّم (الأساتذة) والنموذج المُتعلّم (الطلاب). علاوةً على ذلك، في التحويل المعرفي القياسي، لا يتم تدريب النموذج المُعلّم مع إدراك خصائص أو قدرات النموذج المُتعلّم. في هذه الورقة، نستعرض ميكانيكيْن لتعزيز تحويل التمثيل باستخدام مشاركة التصنيف بين المُعلّم والطالب. نبدأ بدراسة خطة بسيطة حيث يتم ربط تصنيف المُعلّم بعمود خلفي للطالب، ويؤدي دور رأس تصنيف إضافي. ثم نقترح ميكانيكية واعية بالطالب تطلب تكييف النموذج المُعلّم لطالب ذي قدرة محدودة من خلال تدريب المُعلّم باستخدام رأس مؤقت للطالب. ونحلل ونق.Compare بين هذين الميكانيكيْن، ونُظهر فعاليتهما على مجموعة متنوعة من المجموعات والمهام، بما في ذلك التصنيف الصوري، والتصنيف الدقيق، وتحقق الهوية الوجهية. وبشكل خاص، نحقق نتائج رائدة في مجال التحقق من الهوية الوجهية على مجموعة بيانات IJB-C باستخدام نموذج MobileFaceNet: TAR@(FAR=1e-5)=93.7%. يمكن الوصول إلى الكود من خلال الرابط: https://github.com/Alibaba-MIIL/HeadSharingKD.