التكيف منخفض الرتبة LoRA

LoRA (التكيف منخفض الرتبة) هي تقنية شائعة لضبط LLM (نموذج اللغة الكبير)، والتي اقترحها في الأصل باحثون من Microsoft في الورقة البحثية "لورا: التكيف منخفض المستوى لنماذج اللغات الكبيرة"مقترح في.

في مشهد التكنولوجيا سريع الخطى اليوم، تعمل نماذج الذكاء الاصطناعي واسعة النطاق على تحقيق تقدم كبير في كل مجال. ومع ذلك، فإن تصميم هذه النماذج لمهام أو مجموعات بيانات محددة يمكن أن يكون مسعى مكثفًا من الناحية الحسابية والموارد. LoRA (التكيف منخفض المستوى) هي تقنية ضبط دقيقة فعّالة ومبتكرة، والتي يمكنها الاستفادة من قوة هذه النماذج المتقدمة للمهام ومجموعات البيانات المخصصة دون إجهاد الموارد أو التكاليف الباهظة. الفكرة الأساسية هي تصميم مصفوفة ذات رتبة منخفضة ثم إضافتها إلى المصفوفة الأصلية. في هذا السياق، يعتبر "المحول" عبارة عن مجموعة من المصفوفات ذات الرتبة المنخفضة والتي، عند إضافتها إلى نموذج أساسي، تنتج نموذجًا دقيقًا. إنه يسمح بالاقتراب من أداء الضبط الكامل للنموذج مع متطلبات مساحة أقل بكثير. قد يتطلب نموذج اللغة الذي يحتوي على مليارات المعلمات ملايين المعلمات فقط لضبط LoRA بدقة.

مراجع

【1】https://www.ml6.eu/blogpost/low-rank-adaptation-a-technical-deep-dive

【2】https://zh.wikipedia.org/wiki/_()