HyperAIHyperAI

Command Palette

Search for a command to run...

GIFT-SW: التدريب الدقيق المُدخل به ضوضاء غاوسيّة للوزن المميز في نماذج LLM

Maxim Zhelnin Viktor Moskvoretskii Egor Shvetsov Egor Venediktov Mariya Krylova Aleksandr Zuev Evgeny Burnaev

الملخص

لقد اكتسبت أساليب التخصيص الفعال من حيث المعلمات (PEFT) شعبية كبيرة وساهمت في تمكين استخدام النماذج اللغوية الكبيرة (LLMs). أظهرت دراسات حديثة أن مجموعة صغيرة من المعلمات تؤثر بشكل كبير على الأداء. استنادًا إلى هذا الملاحظة، نقدم طريقة جديدة لـ PEFT تُسمى "التدريب المُضخم بالضوضاء الغاوسية للمعلمات البارزة" (GIFT-SW). تقوم هذه الطريقة بتحديث الأعمدة البارزة فقط، بينما تُضخم الضوضاء الغاوسية في الأعمدة غير البارزة. ولتحديد هذه الأعمدة، طوّرنا معامل حساسية معمم يوسع ويوحّد المقاييس المستخدمة في الدراسات السابقة. أظهرت التجارب باستخدام نماذج LLaMA أن GIFT-SW تتفوق على التخصيص الكامل والأساليب الحديثة لـ PEFT ضمن نفس الميزانية الحسابية. علاوة على ذلك، تقدم GIFT-SW مزايا عملية في استعادة أداء النماذج التي تتعرض لقياس دقيق مختلط (mixed-precision)، مع الحفاظ على المعلمات البارزة بدوائر دقة كاملة.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp