قانون التكثيف

قانون التكثيف هو مفهوم جديد حول نماذج اللغة الكبيرة (LLMs) اقترحه فريق البروفيسور ليو تشي يوان من مختبر معالجة اللغة الطبيعية بجامعة تسينغهوا في ديسمبر 2024. نتائج الورقة ذات الصلة هي "قانون كثافة ماجستير القانون".

يصف قانون الكثافة أن كثافة الطاقة في نماذج اللغة الكبيرة (LLMs) تنمو بشكل كبير بمرور الوقت. يتم تعريف كثافة القدرة على أنها نسبة حجم المعلمة الفعالة إلى حجم المعلمة الفعلي لنموذج LLM معين، حيث يشير حجم المعلمة الفعالة إلى عدد معلمات نموذج المرجع المطلوبة لتحقيق نفس الأداء مثل نموذج الهدف. يكشف هذا القانون عن أداء وكفاءة برامج الماجستير في القانون على مستويات مختلفة ويوفر منظورًا جديدًا لتقييم وتحسين تطوير برامج الماجستير في القانون.

من خلال تحليل 29 نموذجًا مفتوح المصدر واسع الاستخدام، وجد فريق البحث أن كثافة القدرة القصوى لـ LLM تزداد بشكل كبير بمرور الوقت، وتتضاعف تقريبًا كل 3.3 أشهر (حوالي 100 يوم). وفقًا لقانون الكثافة، تنخفض تكلفة استدلال النموذج بشكل كبير بمرور الوقت. من يناير 2023 حتى الآن، تم تخفيض تكلفة الاستدلال لنماذج مستوى GPT-3.5 بمقدار 266.7 مرة.

ويسلط قانون الكثافة الضوء على أهمية إيجاد التوازن بين أداء النموذج وكفاءته، خاصة في مواجهة تحديات متطلبات موارد الحوسبة المتزايدة والتأثير البيئي. بالإضافة إلى ذلك، يشير هذا القانون أيضًا إلى أن طرق ضغط النماذج الحالية، مثل التقليم والتقطير، لا يمكنها عادةً تحسين كثافة النماذج المضغوطة، مما يشير إلى أن هناك حاجة إلى خوارزميات ضغط نماذج أكثر فعالية لتحسين كثافة النماذج الصغيرة.