HyperAIHyperAI

Command Palette

Search for a command to run...

SingLoRA: التكيف برتبة منخفضة باستخدام مصفوفة واحدة

David Bensa\u00efd Noam Rotstein Roy Velich Daniel Bensa\u00efd Ron Kimmel

الملخص

التكيف منخفض الرتبة (LoRA) قد أدى إلى تقدم كبير في تحسين كفاءة المعلمات لضبط النماذج المدربة مسبقًا بشكل دقيق. يعزز LoRA الأوزان المدربة مسبقًا للنموذج بإضافة حاصل ضرب مصفوفتين أصغر معًا، مما يشكل تحديثًا لمصفوفة منخفضة الرتبة. أظهرت البحوث الحديثة أن الاختلافات في الحجم بين هاتين المصفوفتين غالبًا ما تسبب عدم استقرار الديناميكيات التدريبية، مما يؤدي إلى أداء غير مثالي. في هذا البحث، نقترح SingLoRA، وهو إعادة صياغة للتكيف منخفض الرتبة من خلال تعلم تحديث الأوزان كتفكيك لمصفوفة واحدة منخفضة الرتبة مضروبة في مترابطها. تصميم هذه البساطة يزيل بشكل جوهري النزاعات الحجمية بين المصفوفات، مما يضمن الاستقرار في التحسين ويقلل تقريبًا عدد المعلمات بمقدار النصف. نحلل SingLoRA ضمن إطار الشبكات العصبية ذات العرض اللامتناهي، ونظهر أنه يضمن الاستقرار في تعلم الخصائص بنيويًا. تؤكد التجارب الواسعة على العديد من المهام هذه الفوائد. في مجال الاستدلال بالحدس، حقق ضبط LLama 7B بدقة باستخدام SingLoRA دقة بنسبة 91.3٪ - وهي نسبة تتجاوز LoRA (89.1٪) و LoRA+ (90.2٪) - بينما يستخدم فقط 60٪ من ميزانية المعلمات الخاصة بهما. في إنشاء الصور، يحسن ضبط Stable Diffusion بدقة باستخدام SingLoRA بشكل كبير جودة الصور على DreamBooth، حيث حقق درجة تشابه DINO قدرها 0.151، مقارنةً بدرجات 0.148 و 0.143 لـ DoRA و LoRA على التوالي.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp