PACTran: مقاييس بايزيان-بيس لتقدير قابلية نقل النماذج المدربة مسبقًا إلى مهام التصنيف

مع زيادة توفر النماذج المدربة مسبقًا في السنوات الأخيرة، ازداد الاهتمام بمشكلة اختيار أفضل نقطة تدريب مسبقة لمهام التصنيف التالية. رغم أن تم اقتراح عدة طرق حديثًا للتعامل مع مشكلة الاختيار (مثل LEEP، H-score)، فإن هذه الطرق تعتمد على قواعد تجريبية ليست مدعومة بشكل جيد بنظرية التعلم. في هذا البحث، نقدم PACTran، وهي عائلة من المقاييس ذات الأساس النظري لاختيار النماذج المدربة مسبقًا وقياس قابلية نقلها. أولاً، نوضح كيفية استنتاج مقاييس PACTran من الحد الأمثل لـ PAC-Bayesian في سياق نقل التعلم. ثم نقوم بتقييم ثلاثة تطبيقات لمقياس PACTran على عدد من مهام الرؤية (VTAB) بالإضافة إلى مهمة اللغة والرؤية (OKVQA). تحليل النتائج يظهر أن PACTran هو مقياس أكثر اتساقًا وفعالية لقابلية النقل مقارنة بالطرق الموجودة حاليًا للاختيار.