تعلم تمثيل ماتريوشكا
تعلم تمثيل ماتريوشكا (MRL) هي نظرية اقترحها أديتيا كوسوباتي وجانتافيا بهات وآخرون. نُشرت هذه النظرية لأول مرة في ورقة بحثية عام 2022.تعلم تمثيل ماتريوشكا"الوسط. يقترح البحث أسلوبًا جديدًا لتعلم التمثيل، قادر على ترميز معلومات ذات حبيبات مختلفة في تضمين واحد، مما يسمح للنموذج بالتكيف مع المهام اللاحقة باستخدام موارد حوسبة مختلفة.
ويتعلم المعلومات بحبيبات مختلفة عن طريق تحسين المتجهات المتداخلة منخفضة الأبعاد ويسمح للتضمين الفردي بالتكيف مع القيود الحسابية للمهام اللاحقة. الفكرة الأساسية لـ MRL هي تعلم سلسلة من التمثيلات ذات السعة المتغيرة في متجه عالي الأبعاد، والتي تم تحسينها بشكل صريح بطريقة متداخلة، ومن هنا جاء اسم "Matryoshka" (الدمية الروسية).
تتضمن الميزات الرئيسية لـ MRL ما يلي:
- التمثيل المتداخل:يتعلم MRL المتجهات منخفضة الأبعاد المتداخلة داخل نفس المتجه عالي الأبعاد والذي يمكنه تمثيل بيانات الإدخال بشكل مستقل.
- المرونة والتعددية:يمكن أن يتكيف تمثيل MRL مع موارد الحوسبة المختلفة ومتطلبات المهام اللاحقة دون زيادة تكاليف الاستدلال والنشر.
- حجم الجسيمات من الخشنة إلى الدقيقةيتعلم MRL من التمثيلات الخشنة إلى التمثيلات الدقيقة، بحيث تزداد المعلومات مع زيادة الأبعاد، مما يشكل تمثيلًا هرميًا للمعلومات.
- النشر التكيفي:يسمح MRL بالنشر التكيفي استنادًا إلى الدقة والقيود الحسابية، وبالتالي تقليل أبعاد متجه التضمين مع الحفاظ على الدقة.
- مجموعات البيانات متعددة الوسائط وواسعة النطاق:يمكن توسيع MRL بسلاسة إلى وسائط مختلفة بما في ذلك الرؤية (مثل ViT وResNet) والرؤية + اللغة (مثل ALIGN) واللغة (مثل BERT)، ويمكن تطبيقها على مجموعات البيانات واسعة النطاق مثل ImageNet وJFT.
- تنفيذ مفتوح المصدر:يعتبر كود MRL والنماذج المدربة مسبقًا مفتوح المصدر ويمكن الوصول إليه عبر GitHub.
يهدف اقتراح MRL إلى معالجة قيود السعة الثابتة لأنابيب التعلم التمثيلي الحالية، مما يجعل التمثيل أكثر مرونة للتكيف مع المهام المختلفة وموارد الحوسبة. من خلال MRL، يمكن تحقيق مهام تصنيف واسترجاع واسعة النطاق أكثر كفاءة، مع تحسين الدقة في مهام التصنيف ذات اللقطات القليلة الطويلة.