إطار عمل التقليم العالمي SparseLLM

SparseLLM هو إطار عمل عالمي جديد للتقليم اقترحه باحثون من جامعة إيموري ومختبر أرجون الوطني في عام 2024.SparseLLM: نحو تقليم شامل لنماذج اللغة المُدرَّبة مسبقًا"، الذي تم قبوله من قبل مؤتمر NeurIPS، هو إطار عمل مصمم لتحسين كفاءة نماذج اللغة الكبيرة (LLMs) التي يتم تدريبها مسبقًا.

يحقق إطار عمل SparseLLM تحسينًا فعالًا وأداءً ممتازًا حتى في ظل الندرة العالية من خلال تحليل مشكلة التقليم العالمية إلى مشاكل فرعية أكثر قابلية للإدارة. تتمثل ميزة SparseLLM في قدرته على تحقيق التقليم العالمي مع استهلاك منخفض للذاكرة. وبناءً على الملاحظة التي مفادها أنه يمكن التعبير عن LLMs كدالة مركبة، قام فريق التطوير بإعادة صياغة هدف التقليم العالمي إلى شكل مكافئ من خلال المتغيرات المساعدة، وبالتالي تحليله إلى مشاكل فرعية متعددة. ومن ثم يتم تطوير خوارزمية فعالة لتحقيق الحل الأمثل العالمي من خلال تحسين كل مشكلة فرعية بالتناوب.

تظهر النتائج التجريبية أن إطار عمل SparseLLM يمكنه تحقيق تقليم عالمي فعال على نماذج اللغة المدربة مسبقًا بأحجام مختلفة مع الحفاظ على أداء النموذج الجيد. يؤدي SparseLLM أداءً جيدًا في كل من نموذج OPT الأصغر ونموذج LLaMA الأكبر، وخاصةً في ظل ظروف الندرة العالية. بالإضافة إلى ذلك، فإن سرعة التقارب وتعدد استخدامات SparseLLM بعد التقليم توفر أيضًا دعمًا قويًا لكفاءتها وإمكانية تطبيقها في التطبيقات العملية.