OrdinalCLIP: تعلم دوافع الرتبة للانحدار الترتيبي الموجه باللغة

يقدم هذا البحث نموذجًا جديدًا للانحدار الترتيبي يعتمد على اللغة.تتعامل الأساليب الحالية عادةً مع كل رتبة كفئة وتستخدم مجموعة من الأوزان لتعلم هذه المفاهيم. هذه الأساليب سهلة الانحراف الزائد وتحقيق أداء غير مرضٍ في الغالب، حيث أن المفاهيم المُتعلمة تأتي بشكل أساسي من مجموعة التدريب. أظهرت النماذج المرئية-اللغوية الكبيرة المُدربة مسبقًا مثل CLIP أداءً مثيرًا للإعجاب في العديد من المهام البصرية. في هذا البحث، نقترح تعلم مفاهيم الرتب من الفضاء الدلالي الغني لـ CLIP.تحديدًا، نعيد صياغة هذه المهمة كمشكلة تطابق بين الصورة واللغة باستخدام هدف تضادي، والذي يعتبر العلامات كنصوص ويحصل على نموذج لغوي لكل رتبة من خلال مُشفر النص. بينما يكون تصميم العبارات الدلالية (prompt engineering) لـ CLIP شديد الاستهلاك للوقت، نقترح OrdinalCLIP، وهو طريقة دالة على الاشتقاق (differentiable prompting) لتكييف CLIP للانحدار الترتيبي. يتكون OrdinalCLIP من رموز سياق قابلة للتعلم وتمثيلات رتب قابلة للتعلم؛ يتم بناء التمثيلات الرتب القابلة للتعلم عن طريق نمذجة الاستمرارية العددية بشكل صريح، مما يؤدي إلى نماذج لغوية مرتبة جيدًا ومدمجة في فضاء CLIP. بمجرد تعلمها، يمكننا حفظ نماذج اللغة فقط والتخلص من النموذج اللغوي الكبير، مما ينتج عنه عدم وجود زيادة في العبء الحسابي بالمقارنة مع الطريقة ذات الرأس الخطي (linear head counterpart). تظهر النتائج التجريبية أن نموذجنا يحقق أداءً تنافسيًا في المهام العامة للانحدار الترتيبي، ويحقق تحسينات في الإعدادات ذات البيانات القليلة والتحول التوزيعي (distribution shift) عند تقدير العمر.الكود متاح على الرابط: https://github.com/xk-huang/OrdinalCLIP.