Yuling Shi Yichun Qian Hongyu Zhang Beijun Shen Xiaodong Gu

الملخص

يُعدّ توليد الكود في ظل سياقات طويلة أمرًا بالغ الأهمية بشكل متزايد، مع تزايد الحاجة إلى قدرة النماذج اللغوية الكبيرة (LLMs) على التفكير في كمّ كبير من المعلومات ضمن قواعد الكود. وعلى الرغم من التطورات الحديثة التي تتيح لنماذج الكود القائمة على النماذج اللغوية الكبيرة معالجة المدخلات الطويلة، تظل تكاليف واجهات برمجة التطبيقات (API) العالية وتأخير التوليد عوائق كبيرة. ورغم أن تقنيات استخلاص السياق الحالية، مثل LLMLingua، حققت نتائج واعدة في النصوص العامة، إلا أنها تتجاهل الهياكل والاعتماديات المميزة للكود، ما يؤدي إلى أداء غير مثالي في المهام البرمجية. في هذه الورقة، نُقدّم LongCodeZip، وهي إطار جديد قابل للتركيب مباشرة (plug-and-play) لضغط الكود مصمم خصيصًا لنماذج الكود القائمة على النماذج اللغوية الكبيرة. يعتمد LongCodeZip على استراتيجية مزدوجة المراحل: (1) ضغط خشن، يُحدد من خلاله كتلًا على مستوى الدوال ويُصنّفها بناءً على التشتت الشرطي بالنسبة للتعليمات، ويُحتفظ فقط بالدوال الأكثر صلة؛ و(2) ضغط دقيق، يُقسّم الدوال المحفوظة إلى كتل بناءً على التشتت، ويختار مجموعة فرعية مثلى ضمن ميزانية مخصصة للرموز (token budget) تكيفية، بهدف تعظيم الصلة. أظهرت التقييمات عبر مهام متعددة، بما في ذلك إكمال الكود، وتلخيصه، والإجابة على الأسئلة، أن LongCodeZip تتفوّق بشكل متسق على الطرق الأساسية، مع تحقيق نسبة ضغط تصل إلى 5.6 مرة دون تدهور في أداء المهمة. وبفضل قدرته الفعّالة على تقليل حجم السياق مع الحفاظ على المعلومات الأساسية، يمكّن LongCodeZip النماذج اللغوية الكبيرة من التوسع بشكل أفضل في السيناريوهات الواقعية الكبيرة النطاق، مما يُسهم في تعزيز كفاءة وقابلية تطبيقات الذكاء البرمجي.