LLaMA-Adapter: تحسين كفاءة ضبط النماذج اللغوية باستخدام انتباه المبادرة بالصفر

نقدم LLaMA-Adapter، وهو طريقة تكيف خفيفة لتحسين LLaMA بكفاءة إلى نموذج يتبع التعليمات. باستخدام 52 ألف مثال ذاتي التوجيه، يضيف LLaMA-Adapter فقط 1.2 مليون معلمة قابلة للتعلم على النموذج المجمد LLaMA 7B، ويستغرق أقل من ساعة واحدة لتغليمه على 8 بطاقات A100. بشكل خاص، نعتمد مجموعة من دوافع التكيف القابلة للتعلم، ونضيفها إلى رموز الكلمات في الطبقات العلوية للمحول (Transformer). ثم، تم اقتراح آلية انتباه مبادرة بالصفر مع إغلاق صفر (Zero Gating)، والتي تحقن الإشارات التعليمية الجديدة في LLaMA بطريقة تكيفية، بينما تحتفظ بفعالية بالمعرفة التي تم تدريبه عليها مسبقًا. بفضل تدريبنا الفعال، يمكن لـ LLaMA-Adapter إنتاج استجابات عالية الجودة، مكافئة لأداء Alpaca مع تغليف كامل لمعلمات 7B. بالإضافة إلى الأوامر اللغوية، يمكن توسيع نهجنا بسهولة ليشمل تعليمات متعددة الوسائط لتعلم نموذج LLaMA المشروط بالصور (Image-conditioned)، مما يحقق أداءً استدلالياً فائقاً على مقاييس ScienceQA وCOCO Caption. علاوة على ذلك، قمنا أيضًا بتقييم آلية الانتباه المبادرة بالصفر لتغليف نماذج مسبقة التدريب أخرى (مثل ViT وRoBERTa) في مهمات الرؤية واللغة التقليدية، مما يظهر القدرة العامة الفائقة لنهجنا. تم إطلاق الكود في https://github.com/OpenGVLab/LLaMA-Adapter.