Command Palette
Search for a command to run...
التعلم التمثيلي لماتريوشكا
التعلم التمثيلي لماتريوشكا
الملخص
تمثل التمثيلات المُكتسبة عنصراً محورياً في أنظمة التعلم الآلي الحديثة، حيث تُستخدم في تنفيذ العديد من المهام اللاحقة. عند تدريب هذه التمثيلات، يكون من الشائع أن تكون القيود الحسابية والإحصائية لكل مهمة لاحقة غير معروفة. في هذا السياق، قد تكون التمثيلات ذات القدرة الثابتة والصارمة إما زائدة عن الحاجة أو غير كافية لاستيعاب المهمة المطلوبة. هذا يقودنا إلى طرح السؤال التالي: هل يمكن تصميم تمثيل مرنة قادرة على التكيف مع مهام لاحقة متعددة، وبمختلف الموارد الحسابية؟إن إسهامنا الرئيسي هو تعلم التمثيلات الماتروشكا (Matryoshka Representation Learning - MRL)، الذي يُشغّل المعلومات على مستويات مختلفة من الدقة، ويسمح لتمثيل واحد أن يتكيف مع القيود الحسابية للمهام اللاحقة. يُعد MRL معدلاً بسيطاً على خطوط أنابيب تعلم التمثيلات الحالية، ولا يفرض أي تكلفة إضافية أثناء الاستدلال أو النشر. كما يتعلم MRL تمثيلات من العامة إلى الدقيق، تكون على الأقل بنفس الدقة والثراء مثل التمثيلات ذات الأبعاد المنخفضة المدربة بشكل مستقل.توفر المرونة داخل التمثيلات الماتروشكا المُكتسبة الميزة التالية:(a) تقليل حجم التمثيل بنسبة تصل إلى 14 مرة لتصنيف ImageNet-1K عند نفس مستوى الدقة؛(b) تسريع حقيقي بنسبة تصل إلى 14 مرة في مهام الاسترجاع على نطاق واسع على بيانات ImageNet-1K و4K؛(c) تحسين دقيق بنسبة تصل إلى 2% في مهام التصنيف النادر القليل العينات (long-tail few-shot classification)، مع الحفاظ على نفس مستوى المقاومة (الاستقرار) الذي يتمتع به التمثيل الأصلي.أخيراً، نُظهر أن MRL يمكن توسيعه بسلاسة إلى مجموعات بيانات ضخمة على نطاق الويب (مثل ImageNet وJFT) عبر مختلف الأنواع الوظيفية: الرؤية (ViT، ResNet)، الرؤية واللغة (ALIGN)، واللغة (BERT). تم إتاحة كود MRL والتمثيلات المُدرّبة مسبقاً عبر الرابط التالي: https://github.com/RAIVNLab/MRL.