ThreadWeaver: تثبيت تفاعلي لاستخدام التعددية المتعددة بكفاءة في التفكير المتوازي في نماذج اللغة
ThreadWeaver: تثبيت تفاعلي لاستخدام التعددية المتعددة بكفاءة في التفكير المتوازي في نماذج اللغة
Long Lian Sida Wang Felix Juefei-Xu Tsu-Jui Fu Xiuyu Li Adam Yala Trevor Darrell Alane Suhr Yuandong Tian Xi Victoria Lin

الملخص
إن توسيع الحسابات أثناء عملية الاستنتاج ساهم في تمكين النماذج اللغوية الكبيرة (LLMs) من تحقيق أداء قوي في الاستدلال، لكن التفكير المتسلسل بطبيعته يؤدي إلى تأخير كبير، خاصةً في المهام المعقدة. تسعى الدراسات الحديثة المتعلقة بالاستدلال المتوازي التكيفي من تحسين كفاءة الاستنتاج من خلال تقسيم عملية حل المشكلات إلى خيوط استدلال متوازية عند الحاجة. ومع ذلك، تظل الطرق الحالية في المهام الواقعية محدودة إما بالتعلم المراقب للسلوك (behavior cloning) أو تعاني من انخفاض كبير في الدقة مقارنةً بالأساليب المتسلسلة الشائعة مثل السلسلة الطويلة من التفكير (CoT). علاوةً على ذلك، تتطلب العديد منها محركات استنتاج مخصصة، مما يعقد عملية النشر. نقدم إطار عمل يُسمى ThreadWeaver، وهو إطار للتفكير المتوازي التكيفي، يتميز بدقة توازي النماذج المتسلسلة الشائعة ذات الحجم المماثل، مع تقليل كبير في زمن الاستنتاج. يعود أداء ThreadWeaver إلى ثلاث ابتكارات رئيسية: 1) مُولّد مسارات متوازية ثنائي المرحلة، الذي يُنتج بيانات تفكير متسلسلة عالية الجودة على نطاق واسع مع تسميات متوازية لتدريب مُعدّل مراقب؛ 2) تصميم متكامل للتدريب والاستنتاج يستند إلى هيكل "الشجرة التراي" (trie-based)، مما يسمح بالاستدلال المتوازي على أي محرك استنتاج تلقائي جاهز دون الحاجة إلى تعديل التضمينات الموضعية أو ذاكرة التخزين المؤقت (KV caches)؛ 3) إطار تعلم التقويم المُدرك للتوسيع المتوازي، الذي يُدرّب النموذج على تحقيق توازن بين الدقة والكفاءة في التوازي. وقد أظهر ThreadWeaver أداءً متميزًا على ستة اختبارات صعبة في الاستدلال الرياضي، حيث حقق دقة توازي النماذج المتسلسلة الرائدة (متوسط 71.9% و79.9% على AIME24)، مع تسريع متوسط يصل إلى 1.53 مرة في زمن إنتاج الرموز (token latency)، مُحدّدًا حدود باريتو جديدة بين الدقة والكفاءة.
بناء الذكاء الاصطناعي بالذكاء الاصطناعي
من الفكرة إلى الإطلاق — عجّل تطوير الذكاء الاصطناعي الخاص بك من خلال البرمجة المشتركة المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.