GIFT-SW: التدريب الدقيق المُدخل به ضوضاء غاوسيّة للوزن المميز في نماذج LLM

لقد اكتسبت أساليب التخصيص الفعال من حيث المعلمات (PEFT) شعبية كبيرة وساهمت في تمكين استخدام النماذج اللغوية الكبيرة (LLMs). أظهرت دراسات حديثة أن مجموعة صغيرة من المعلمات تؤثر بشكل كبير على الأداء. استنادًا إلى هذا الملاحظة، نقدم طريقة جديدة لـ PEFT تُسمى "التدريب المُضخم بالضوضاء الغاوسية للمعلمات البارزة" (GIFT-SW). تقوم هذه الطريقة بتحديث الأعمدة البارزة فقط، بينما تُضخم الضوضاء الغاوسية في الأعمدة غير البارزة. ولتحديد هذه الأعمدة، طوّرنا معامل حساسية معمم يوسع ويوحّد المقاييس المستخدمة في الدراسات السابقة. أظهرت التجارب باستخدام نماذج LLaMA أن GIFT-SW تتفوق على التخصيص الكامل والأساليب الحديثة لـ PEFT ضمن نفس الميزانية الحسابية. علاوة على ذلك، تقدم GIFT-SW مزايا عملية في استعادة أداء النماذج التي تتعرض لقياس دقيق مختلط (mixed-precision)، مع الحفاظ على المعلمات البارزة بدوائر دقة كاملة.