HyperAIHyperAI

Command Palette

Search for a command to run...

مزيج الفضاءات الفرعية في التكيّف من الدرجة المنخفضة

Taiqiang Wu Jiahao Wang Zhe Zhao Ngai Wong

الملخص

في هذه الورقة، نقدّم طريقةً مبنية على الفضاءات الجزئية تُعرف بـ "التكيف من الدرجة المنخفضة المستوحى من الفضاءات الجزئية" (LoRA)، وهي طريقة فعّالة من الناحية الحسابية، سهلة التنفيذ، وقابلة للتطبيق مباشرة على النماذج الكبيرة للغة، والنمذجة متعددة الوسائط، والنماذج التفتيتية. في البداية، نقوم بتحليل معاملات LoRA بشكل مكافئ إلى فضائين جزئيين، ونكتشف أن خلط هذين الفضائين ببساطة يمكن أن يعزز الأداء. ولدراسة هذا الظاهرة، نعيد النظر فيها من خلال عدسة فضائية دقيقة، ونُظهر أن هذا التعديل يعادل استخدام مُمزج ثابت لدمج الفضائين الجزئيين. ولإضفاء مزيد من المرونة، نتعلم المُمزج جنبًا إلى جنب مع معاملات LoRA الأصلية، ونُسمّي هذه الطريقة "مزيج الفضاءات الجزئية LoRA" (MoSLoRA). تتفوّق MoSLoRA بشكل ثابت على LoRA في مهام مختلفة عبر الوسائط، بما في ذلك التفكير المنطقي العام، وضبط التعليم البصري، وإنشاء الصور من النصوص حسب الموضوع، مما يُظهر فعاليتها وثباتها. يمكن الاطلاع على الشفرات المصدرية عبر الرابط: https://github.com/wutaiqiang/MoSLoRA{github}.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp