SoMA: التكيف بالمركبات الصغرى المفككة بالقيم المفردة لتعلم تمثيل قابل للعامة في المجال

تهدف التعميم النطقي (DG) إلى تكييف نموذج باستخدام مجال واحد أو أكثر من المجالات المصدرية لضمان أداءً قويًا في المجالات الهدف غير المرئية. في الآونة الأخيرة، أظهرت طرق التخصيص الفعّال من حيث المعلمات (PEFT) للنماذج الأساسية نتائج واعدة في سياق مشكلة التعميم النطقي. ومع ذلك، ما زالت الطرق الحالية لـ PEFT تواجه صعوبة في تحقيق توازن بين الحفاظ على المكونات القابلة للتعميم في النموذج المُدرّب مسبقًا وتعلم السمات الخاصة بالمهام. وللتوصل إلى فهم أعمق لتوزيع هذه المكونات القابلة للتعميم، نبدأ بتحليل الأوزان المُدرّبة مسبقًا من منظور تحليل القيم الفردية (Singular Value Decomposition). بالاعتماد على هذه الرؤى، نقدم منهجية تُسمى تكييف المكونات الصغرى المُحلّلة حسب القيم الفردية (SoMA)، التي تقوم بتعديل مكونات القيم الفردية الصغيرة بشكل انتقائي مع الإبقاء على باقي المكونات ثابتة. وتُحافظ SoMA بشكل فعّال على قدرة النموذج المُدرّب مسبقًا على التعميم، في حين تُمكّن من اكتساب المهارات الخاصة بالمهام بكفاءة. علاوةً على ذلك، نثبّت الكتل القابلة للتعميم عبر المجالات، ونطبّق استراتيجية تراجع تدريجي للوزن (annealing weight decay)، مما يُحقق توازنًا مثاليًا في التناقض الدقيق بين القدرة على التعميم والتمييز. وتُحقّق SoMA نتائج رائدة على عدة معايير تشمل كلاً من التصنيف الشامل للسياقات في المجالات النطاقية وتحديد الكائنات في المجالات النطاقية. بالإضافة إلى ذلك، لا تضيف منهجياتنا أي تكلفة إضافية أثناء الاستدلال، ولا تُستخدم خسائر تنظيمية، وتحافظ على التوافق مع أي هيكل أساسي (backbone) أو رأس تصنيف (head)، كما تم تصميمها لتكون متنوعة ومُبسّطة، مما يسمح بدمجها بسهولة في طيف واسع من المهام.