SingLoRA: التكيف برتبة منخفضة باستخدام مصفوفة واحدة

التكيف منخفض الرتبة (LoRA) قد أدى إلى تقدم كبير في تحسين كفاءة المعلمات لضبط النماذج المدربة مسبقًا بشكل دقيق. يعزز LoRA الأوزان المدربة مسبقًا للنموذج بإضافة حاصل ضرب مصفوفتين أصغر معًا، مما يشكل تحديثًا لمصفوفة منخفضة الرتبة. أظهرت البحوث الحديثة أن الاختلافات في الحجم بين هاتين المصفوفتين غالبًا ما تسبب عدم استقرار الديناميكيات التدريبية، مما يؤدي إلى أداء غير مثالي. في هذا البحث، نقترح SingLoRA، وهو إعادة صياغة للتكيف منخفض الرتبة من خلال تعلم تحديث الأوزان كتفكيك لمصفوفة واحدة منخفضة الرتبة مضروبة في مترابطها. تصميم هذه البساطة يزيل بشكل جوهري النزاعات الحجمية بين المصفوفات، مما يضمن الاستقرار في التحسين ويقلل تقريبًا عدد المعلمات بمقدار النصف. نحلل SingLoRA ضمن إطار الشبكات العصبية ذات العرض اللامتناهي، ونظهر أنه يضمن الاستقرار في تعلم الخصائص بنيويًا. تؤكد التجارب الواسعة على العديد من المهام هذه الفوائد. في مجال الاستدلال بالحدس، حقق ضبط LLama 7B بدقة باستخدام SingLoRA دقة بنسبة 91.3٪ - وهي نسبة تتجاوز LoRA (89.1٪) و LoRA+ (90.2٪) - بينما يستخدم فقط 60٪ من ميزانية المعلمات الخاصة بهما. في إنشاء الصور، يحسن ضبط Stable Diffusion بدقة باستخدام SingLoRA بشكل كبير جودة الصور على DreamBooth، حيث حقق درجة تشابه DINO قدرها 0.151، مقارنةً بدرجات 0.148 و 0.143 لـ DoRA و LoRA على التوالي.