إطار عمل معالجة إطار النص الطويل LLMxMapReduce

إطار عمل LLMxMapReduce هو تقنية مبتكرة تم اقتراحها بشكل مشترك من قبل جامعة شيامن وجامعة بكين وست مؤسسات أخرى في عام 2024، وهي مصممة للتعامل مع مشاكل النصوص الطويلة في نماذج اللغة الكبيرة (LLMs). "نتائج الورقة ذات الصلة هي"LLM×MapReduce: معالجة مبسطة للتسلسلات الطويلة باستخدام نماذج لغوية كبيرةتُقسّم هذه التقنية السياق الطويل إلى عدة أجزاء، مما يسمح للنموذج بمعالجة أجزاء متعددة بالتوازي، واستخراج المعلومات الأساسية من أجزاء مختلفة، ثم تجميعها في الإجابة النهائية. تكمن الميزة الأساسية لإطار عمل LLMxMapReduce في بروتوكول الاتصال المُهيكل وآلية معايرة ثقة السياق، مما يُمكّن من معالجة معلومات الأجزاء المتقاطعة بكفاءة أكبر.

يؤدي تقديم إطار عمل LLMxMapReduce إلى كسر قيود الذاكرة الخاصة بالنماذج الكبيرة وتحقيق القدرة على معالجة سياق "الطول اللانهائي" نظريًا. تتمتع هذه التقنية بتأثير معزز بشكل عام على قدرات النصوص الطويلة للنماذج الكبيرة، ومع استمرار النص في الطول، لا يزال بإمكانها الحفاظ على الأداء المستقر وتقليل فقدان النتيجة للنصوص الطويلة.

بالإضافة إلى ذلك، يظهر إطار عمل LLMxMapReduce تنوعًا قويًا ويحقق نتائج ممتازة عند استخدامه مع Qwen2-72B وMiniCPM3. إن مبدأ هذه التقنية مستوحى من إطار عمل MapReduce المستخدم على نطاق واسع في مجال البيانات الضخمة. إنه يستغل مفهوم "التقسيم والغزو" بشكل كامل لتجنب قيود النماذج الكبيرة عند معالجة النصوص الطويلة للغاية. بهذه الطريقة، يمكن لبرنامج LLMxMapReduce معالجة النصوص الطويلة بفعالية وتجنب فقدان المعلومات أو الاستنتاجات الخاطئة الناجمة عن التجزئة، وبالتالي تحسين دقة النتائج النهائية.