MV-MR: التعلم ذاتي الإشراف وتقطير المعرفة باستخدام وجهات نظر متعددة وتمثيلات متعددة

نقدم طريقة جديدة للتعلم الذاتي ونقل المعرفة تعتمد على الآراء المتعددة والتمثيلات المتعددة (MV-MR). تتمثل MV-MR في زيادة الارتباط بين التضمينات القابلة للتعلم من الآراء المعززة وغير المعززة، بالإضافة إلى زيادة الارتباط بين التضمينات القابلة للتعلم من الرأي المعزز والتمثيلات غير القابلة للتعلم المتعددة من الرأي غير المعزز. نوضح أن الطريقة المقترحة يمكن استخدامها لتصنيف ذاتي فعال ونقل معرفة مستقل عن النموذج. على عكس التقنيات الأخرى للتعلم الذاتي، لا تستخدم طريقتنا أي تعلم مقارن أو تجميع أو إيقاف التدرجات. يعتبر MV-MR إطارًا عامًا يسمح بدمج قيود على التضمينات القابلة للتعلم من خلال استخدام تمثيلات الصور المتعددة كمعدلات. في هذا السياق، يتم اعتبار نقل المعرفة حالة خاصة من هذا التعديل. توفر MV-MR أداءً رائدًا في مجموعتي بيانات STL10 وImageNet-1K بين الطرق الخالية من التعلم المقارن والتجميع. نوضح أن نموذج ResNet50 ذي التعقيد الأدنى الذي تم تدريبه مسبقًا باستخدام نقل المعرفة المقترح المستند إلى نموذج CLIP ViT حقق أداءً رائدًا في تقييم الخطية لـ STL10. يمكن الوصول إلى الكود عبر الرابط: https://github.com/vkinakh/mv-mr