Command Palette
Search for a command to run...
GIFT-SW: التدريب الدقيق المُدخل به ضوضاء غاوسيّة للوزن المميز في نماذج LLM
GIFT-SW: التدريب الدقيق المُدخل به ضوضاء غاوسيّة للوزن المميز في نماذج LLM
Maxim Zhelnin Viktor Moskvoretskii Egor Shvetsov Egor Venediktov Mariya Krylova Aleksandr Zuev Evgeny Burnaev
الملخص
لقد اكتسبت أساليب التخصيص الفعال من حيث المعلمات (PEFT) شعبية كبيرة وساهمت في تمكين استخدام النماذج اللغوية الكبيرة (LLMs). أظهرت دراسات حديثة أن مجموعة صغيرة من المعلمات تؤثر بشكل كبير على الأداء. استنادًا إلى هذا الملاحظة، نقدم طريقة جديدة لـ PEFT تُسمى "التدريب المُضخم بالضوضاء الغاوسية للمعلمات البارزة" (GIFT-SW). تقوم هذه الطريقة بتحديث الأعمدة البارزة فقط، بينما تُضخم الضوضاء الغاوسية في الأعمدة غير البارزة. ولتحديد هذه الأعمدة، طوّرنا معامل حساسية معمم يوسع ويوحّد المقاييس المستخدمة في الدراسات السابقة. أظهرت التجارب باستخدام نماذج LLaMA أن GIFT-SW تتفوق على التخصيص الكامل والأساليب الحديثة لـ PEFT ضمن نفس الميزانية الحسابية. علاوة على ذلك، تقدم GIFT-SW مزايا عملية في استعادة أداء النماذج التي تتعرض لقياس دقيق مختلط (mixed-precision)، مع الحفاظ على المعلمات البارزة بدوائر دقة كاملة.