النماذج اللغوية الكبيرة القابلة للسحب والإفلات: تحويل الدعوات إلى الأوزان دون الحاجة إلى تدريب مسبق

تُقدِّم طرق التحسين الدقيق المُعَدَّة حديثًا للمعلمات، مثل التكيف ذي الرتبة المنخفضة (LoRA)، حلولًا لتقليل تكلفة تعديل نماذج اللغات الكبيرة (LLMs)، ولكنها لا تزال تتطلب عملية تحسين منفصلة لكل مجموعة بيانات ثانوية. في هذا السياق، نُقَدِّم \textbf{نماذج السحب والإفلات (\textit{DnD})}، وهي مولد معلمات يعتمد على الإرشادات النصية ويُلغي الحاجة إلى التدريب لكل مهمة عن طريق ربط مجموعة صغيرة من الإرشادات غير المصنفة مباشرة بتحديثات أوزان LoRA. يقوم مُشغِّل النص الخفيف بتقطير كل دفعة من الإرشادات إلى تمثيلات شرطية، والتي يتم تحويلها بعد ذلك بواسطة فكودر هايبر-كونفوليسيوني متسلسل إلى مجموعة كاملة من مصفوفات LoRA. بمجرد تدريبه على مجموعة متنوعة من أزواج الإرشاد-النقطة، ينتج DnD معلمات خاصة بالمهمة في غضون ثوانٍ، مما يؤدي إلى: i) خفض التكلفة بنسبة تصل إلى \textbf{12,000 مرة} أقل من التحسين الدقيق الكامل، ii) زيادة الأداء بمتوسط يصل إلى \textbf{30\%} بالمقارنة مع أفضل نماذج LoRA المدربة على مقاييس المنطق الشائع والرياضيات والبرمجة والمتعددة الوسائط التي لم يتم رؤيتها سابقًا، وiii) تعميم قوي عبر المجالات المختلفة رغم عدم رؤيته للبيانات أو العلامات المستهدفة. تُظهر نتائجنا أن إنتاج المعلمات الشرطي بالإرشادات هو بديل قابل للتطبيق للاستدلال القائم على التدرج لتسريع تخصيص نماذج اللغات الكبيرة (LLMs). يمكن الوصول إلى مشروعنا عبر الرابط \href{https://jerryliang24.github.io/DnD}{https://jerryliang24.github.io/DnD}.