تحول كفاءة الذكاء الاصطناعي من التركيز على النموذج إلى التركز على البيانات المضغوطة
التقدم السريع في نماذج اللغات الكبيرة (LLMs) والنماذج متعددة الوسائط من اللغات الكبيرة (MLLMs) كان يعتمد تاريخيًا على التوسع المركزي للنموذج من خلال زيادة عدد المعلمات من الملايين إلى مئات مليارات لتحقيق مكاسب في الأداء. ومع ذلك، مع اقترابنا من الحدود المادية لحجم النموذج، تحولت العقبة الحاسوبية الرئيسية بشكل جوهري إلى التكلفة التربيعية للاهتمام الذاتي على سلاسل الرموز الطويلة، والتي تُحَرِّكها الآن سياقات النصوص الفائقة الطول والصور عالية الدقة والفيديوهات الممتدة.في هذا الورق الموقوف، \textbf{نؤكد أن التركيز في البحث عن الذكاء الاصطناعي الفعال ينتقل من الضغط المركزي للنموذج إلى الضغط المركزي للبيانات}. نضع الضغط الرمزي كأفق جديد، والذي يحسن كفاءة الذكاء الاصطناعي عبر تقليل عدد الرموز أثناء تدريب النموذج أو الاستدلال. من خلال تحليل شامل، نفحص أولاً التطورات الحديثة في الذكاء الاصطناعي ذي السياقات الطويلة عبر مجالات مختلفة ونحدد إطارًا رياضيًا موحدًا لاستراتيجيات كفاءة النماذج القائمة، مما يوضح لماذا يعتبر الضغط الرمزي تحولًا فلسفيًا حاسمًا في التعامل مع عبء السياقات الطويلة. بعد ذلك، نراجع بشكل منهجي مشهد البحث حول الضغط الرمزي، ونحلل فوائده الأساسية ونتعرف على مزاياه الجاذبة عبر سيناريوهات متنوعة. بالإضافة إلى ذلك، نقدم تحليلًا عميقًا للتحديات الحالية في بحث الضغط الرمزي ونشير إلى اتجاهات مستقبلية واعدة. في النهاية، تهدف أعمالنا إلى تقديم وجهة نظر جديدة حول كفاءة الذكاء الاصطناعي، وإعادة تركيب الأبحاث القائمة، وتحفيز تطورات مبتكرة لمواجهة التحديات التي تمثلها زيادة طول السياقات بالنسبة لمجتمع الذكاء الاصطناعي.