LPT: التخصيص الطويل الذيل للنُّسَق في التصنيف الصوتي
بالنسبة للتصنيف ذي الذيل الطويل، غالبًا ما تقوم الدراسات السابقة بتدريب نموذج كبير مسبقًا على مجموعة بيانات كبيرة الحجم، ثم تدريب النموذج بالكامل (fine-tuning) لتكييفه مع البيانات ذات الذيل الطويل. وعلى الرغم من الإمكانات الواعدة لهذا النهج، فإن تدريب النموذج المُدرَّب مسبقًا بالكامل يعاني غالبًا من تكاليف عالية من حيث الحوسبة، وصعوبة في النشر عند استخدام نماذج مختلفة لكل مهمة، بالإضافة إلى ضعف القدرة على التعميم بسبب التأقلم الزائد مع خصائص معينة في البيانات ذات الذيل الطويل. لمعالجة هذه المشكلات، نقترح طريقة فعّالة تُسمى LPT (Long-tailed Prompt Tuning) لتصنيف البيانات ذات الذيل الطويل. تُضفي LPT عدة نصوص قابلة للتدريب (prompts) إلى نموذج مُدرَّب مسبقًا ومُجمّد، بهدف تكييفه مع البيانات ذات الذيل الطويل. ولتحقيق كفاءة أعلى، نقسم النصوص إلى مجموعتين: 1) نص مشترك يُستخدم لجميع البيانات ذات الذيل الطويل، بهدف تعلّم الخصائص العامة وتكييف النموذج المُدرَّب مسبقًا مع المجال المستهدف؛ و2) نصوص مخصصة للمجموعات، تُستخدم لجمع الخصائص المميزة لكل مجموعة من العينات التي تمتلك خصائص مشابهة، كما تُعزز النموذج المُدرَّب مسبقًا بقدرات تمييزية. ثم نصمم نموذجًا تدريسيًا مكوّنًا من مرحلتين لتعلم هذه النصوص. في المرحلة الأولى، نُدرّب النص المشترك باستخدام تقنية التدريب المُراقب للنص (supervised prompt tuning)، بهدف تكييف النموذج المُدرَّب مسبقًا مع المجال ذي الذيل الطويل المطلوب. وفي المرحلة الثانية، نستخدم النص المشترك المُدرّب كاستعلام لاختيار مجموعة صغيرة من العينات المتطابقة من مجموعة النصوص المخصصة للمجموعات، بهدف استخلاص الخصائص المشتركة بين هذه العينات المتشابهة، ثم نُحسّن هذه النصوص باستخدام استراتيجية عينة مزدوجة (dual sampling strategy) ووظيفة فقدان التعلم المتماثل (asymmetric GCL loss). وبما أن LPT يُحدّث فقط عددًا قليلاً من النصوص مع إبقاء النموذج المُدرَّب مسبقًا غير مُعدّل، فإنها تقلّل من تكاليف التدريب والنشر من خلال تخزين عدد قليل من النصوص، وتحتفظ بقدرة قوية على التعميم الناتجة عن النموذج المُدرَّب مسبقًا. أظهرت التجارب أن LPT، على مختلف معايير البيانات ذات الذيل الطويل، تحقق أداءً مماثلًا للطرق السابقة التي تقوم بتدريب النموذج بالكامل، مع استهلاك فقط حوالي 1.1% من المعلمات الإضافية، كما أنها أكثر مقاومةً لانزياح المجال (domain-shift).