HyperAIHyperAI

Command Palette

Search for a command to run...

كل شيء في الرأس: تدريب التعرف على المعرفة من خلال مشاركة الفاصل

Emanuel Ben-Baruch Matan Karklinsky Yossi Biton Avi Ben-Cohen Hussam Lawen Nadav Zamir

الملخص

تهدف التحويل المعرفي للتمثيل إلى نقل معلومات غنية من نموذج إلى آخر. تركز الطرق الشائعة لتحويل التمثيل بشكل رئيسي على تقليل المسافة مباشرة بين متجهات التضمين في النموذجين. قد تكون هذه الطرق المباشرة محدودة في نقل الاعتماديات من الدرجة العالية المضمنة في متجهات التمثيل، أو في التعامل مع الفجوة في القدرة بين النموذج المُعلّم (الأساتذة) والنموذج المُتعلّم (الطلاب). علاوةً على ذلك، في التحويل المعرفي القياسي، لا يتم تدريب النموذج المُعلّم مع إدراك خصائص أو قدرات النموذج المُتعلّم. في هذه الورقة، نستعرض ميكانيكيْن لتعزيز تحويل التمثيل باستخدام مشاركة التصنيف بين المُعلّم والطالب. نبدأ بدراسة خطة بسيطة حيث يتم ربط تصنيف المُعلّم بعمود خلفي للطالب، ويؤدي دور رأس تصنيف إضافي. ثم نقترح ميكانيكية واعية بالطالب تطلب تكييف النموذج المُعلّم لطالب ذي قدرة محدودة من خلال تدريب المُعلّم باستخدام رأس مؤقت للطالب. ونحلل ونق.Compare بين هذين الميكانيكيْن، ونُظهر فعاليتهما على مجموعة متنوعة من المجموعات والمهام، بما في ذلك التصنيف الصوري، والتصنيف الدقيق، وتحقق الهوية الوجهية. وبشكل خاص، نحقق نتائج رائدة في مجال التحقق من الهوية الوجهية على مجموعة بيانات IJB-C باستخدام نموذج MobileFaceNet: TAR@(FAR=1e-5)=93.7%. يمكن الوصول إلى الكود من خلال الرابط: https://github.com/Alibaba-MIIL/HeadSharingKD.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp