HyperAIHyperAI

Command Palette

Search for a command to run...

بحث يوضح كيفية تدريب محولات ذات كوادريليون بارامتر

يقدّم مختبر كيو للأبحاث، ضمن ورقة بحثية نُشرت عام ألفين وستة وعشرين، رؤية جديدة لتدريب نماذج لغوية أكبر بعدة مراتب، لسد فجوة الكفاءة في استخدام البيانات بين الذكاء الاصطناعي والبشر. ويستند التقرير إلى أن البشر يملكون نحو مئة تريليون وصلة عصبية تعادل المعاملات، ويتعلمون من مئتي مليون رمز تقريباً، بينما تعتمد الوصفة التقليدية لشينشيلا على نحو تريليون ونصف التريليون معاملة مع ثلاثين تريليون رمز، أي عشرين رمزاً لكل معاملة، ما يترك فجوة تقدر بعشرة ملايين ضعف. وتقترح الدراسة أن نقترب من نماذج بأحجام هائلة، قد تصل إلى آلاف التريليونات من المعاملات، عند توفر بيانات وحسابات كافية، وأن نستخدم تجميع النماذج وزياد عدد دورات التدريب بدل الاكتفاء بنموذج ثابت. وتُظهر النتائج، عند تطبيق قانون التوسع الجديد على مجموعة بيانات ثابتة تحتوي على خمسة تريليونات رمز، أن العدد الأمثل لمجموع معاملات النموذج يصل إلى أكثر من ثلاثمئة معاملة لكل رمز عند ميزانية حسابية ضخمة، أي نحو سبعة آلاف ضعف نسبة المعاملات إلى الرمز في وصفة شينشيلا. كما يستمر العدد في النمو مع زيادة الحساب، خلافاً للتوصيات السابقة التي تثبت النموذج عند حجم محدد. وتبني الدراسة قانوناً واحداً للتنبؤ بالفقد يعتمد على عدد الرموز الفريدة، وحجم النموذج، وعدد دورات التدريب، وعدد النماذج المجمعة. ويضيف القانون حداً لعقوبة الإفراط في التدريب وحداً آخر لمكاسب التجميع. ويعالج الباحثون أيضاً نقل المعلمات الفائقة، إذ وجدوا أن قوة تسرب الأوزان المثلى تتزايد بشدة مع زيادة عدد الدورات والحجم، بما لا تعالجه القواعد السابقة. وتثبت التجارب أن القانون الجديد قريب من الأمثل عند مضاعفة ميزانية الحساب ستة عشر ضعفاً، وضمن فارق طفيف من الفقد المثالي، بينما تسقط قواعد أخرى على بعض المحاور. وتقترح الدراسة تجميع النسخ الوسيطة من التدريب نفسه باستخدام معدل تعلم دوري، وهو ما يحسّن الأداء من دون تكلفة تدريب إضافية، وتجميع نماذج مستقلة عندما تكون الميزانية الحسابية كبيرة مقارنة بالبيانات. وبهذا يتراجع الفقد باستمرار مع زيادة الحساب، بينما تتفاقم النتائج مع وصفات سابقة. ويرى الفريق أن هذه الوصفات قد تكبّر النماذج أربعة مرتبات في البيانات المحدودة، وتفتح طريقاً نحو نماذج أكبر بكثير، مع التنبيه إلى أن الاقتراب من كفاءة البشر يتطلب خوارزميات وعتاداً جديدين.

الروابط ذات الصلة