Command Palette
Search for a command to run...
مزيج الفضاءات الفرعية في التكيّف من الدرجة المنخفضة
مزيج الفضاءات الفرعية في التكيّف من الدرجة المنخفضة
Taiqiang Wu Jiahao Wang Zhe Zhao Ngai Wong
الملخص
في هذه الورقة، نقدّم طريقةً مبنية على الفضاءات الجزئية تُعرف بـ "التكيف من الدرجة المنخفضة المستوحى من الفضاءات الجزئية" (LoRA)، وهي طريقة فعّالة من الناحية الحسابية، سهلة التنفيذ، وقابلة للتطبيق مباشرة على النماذج الكبيرة للغة، والنمذجة متعددة الوسائط، والنماذج التفتيتية. في البداية، نقوم بتحليل معاملات LoRA بشكل مكافئ إلى فضائين جزئيين، ونكتشف أن خلط هذين الفضائين ببساطة يمكن أن يعزز الأداء. ولدراسة هذا الظاهرة، نعيد النظر فيها من خلال عدسة فضائية دقيقة، ونُظهر أن هذا التعديل يعادل استخدام مُمزج ثابت لدمج الفضائين الجزئيين. ولإضفاء مزيد من المرونة، نتعلم المُمزج جنبًا إلى جنب مع معاملات LoRA الأصلية، ونُسمّي هذه الطريقة "مزيج الفضاءات الجزئية LoRA" (MoSLoRA). تتفوّق MoSLoRA بشكل ثابت على LoRA في مهام مختلفة عبر الوسائط، بما في ذلك التفكير المنطقي العام، وضبط التعليم البصري، وإنشاء الصور من النصوص حسب الموضوع، مما يُظهر فعاليتها وثباتها. يمكن الاطلاع على الشفرات المصدرية عبر الرابط: https://github.com/wutaiqiang/MoSLoRA{github}.