Tianyu Fu Zihan Min Hanling Zhang Jichao Yan Guohao Dai Wanli Ouyang Yu Wang

الملخص

تستفيد الأنظمة متعددة نماذج اللغة الكبيرة (Multi-LLM) من القُدرات المكملة للعديد من نماذج اللغة الكبيرة المتنوعة، مما يُحقق تحسينات في الأداء والكفاءة لا يمكن تحقيقها بواسطة نموذج واحد. في التصاميم الحالية، يُجري نماذج اللغة الكبيرة التواصل عبر النص، ما يُجبر التمثيلات الداخلية على التحويل إلى تسلسلات من الرموز (tokens). ويؤدي هذا الإجراء إلى فقدان المعلومات الدلالية الغنية، كما يُسبب تأخيرًا في التوليد على مستوى كل رمز على حدة. مستلهمين من هذه القيود، نطرح السؤال التالي: هل يمكن لنموذج اللغة الكبير التواصل خارج حدود النص؟ أظهرت تجارب "الآلة الحكيمة" (Oracle) أن تحسين دلالات ذاكرة التخزين المؤقت (KV-Cache) يمكن أن يُحسّن جودة الاستجابة دون الحاجة إلى زيادة حجم الذاكرة، ما يدعم استخدام ذاكرة التخزين المؤقت كوسيلة فعّالة للتواصل بين النماذج. وبناءً على ذلك، نقترح نموذج "من التخزين المؤقت إلى التخزين المؤقت" (Cache-to-Cache، أو C2C)، وهو منهج جديد يتيح التواصل الدلالي المباشر بين نماذج اللغة الكبيرة. يُستخدم في C2C شبكة عصبية لتحويل ودمج ذاكرة التخزين المؤقت الخاصة بالنموذج المُرسل مع ذاكرة التخزين المؤقت الخاصة بالنموذج المستقبل، بهدف تمكين نقل دلالي مباشر. كما يُستخدم آلية تمرير قابلة للتعلم لاختيار الطبقات المستقبلة التي تستفيد من التواصل عبر الذاكرة. مقارنةً بالتواصل عبر النص، يستفيد C2C من المعاني العميقة والمتخصصة التي تمتلكها كلا النموذجين، مع تجنّب توليد نص وسيط صريح. أظهرت التجارب أن C2C يحقق دقة متوسطة أعلى بنسبة 8.5% إلى 10.5% مقارنةً بالنماذج الفردية، ويتفوّق على منهجية التواصل عبر النص بنسبة تتراوح بين 3.0% إلى 5.0%، مع تحقيق متوسط تسريع في التأخير بنسبة 2.0 مرة. يمكن الوصول إلى الشفرة المصدرية الخاصة بنا عبر الرابط التالي: https://github.com/thu-nics/C2C.