توسيع التوسيع المثالي لحسابات وقت الاختبار كرسم بياني قابل للتحسين
Fali Wang Jihai Chen Shuhua Yang Runxue Bao Tianxiang Zhao Zhiwei Zhang Xianfeng Tang Hui Liu Qi He Suhang Wang

الملخص
يُحسّن التوسيع في وقت الاختبار (TTS) النماذج اللغوية الكبيرة (LLMs) من خلال تخصيص حسابات إضافية أثناء الاستدلال، عادةً عبر التوسيع المتوازي أو التسلسلي أو الهجين. ومع ذلك، فإن الدراسات السابقة غالبًا ما تفترض هياكل تعاون ثابتة (مثل التراكيب الهيكلية) واستخدام نموذج واحد فقط، مما يتجاهل حقيقة أن الهياكل المثلى وتركيبات النماذج المثلى قد تختلف حسب المهمة. ولهذا السبب، نُجري دراسة لمشكلة جديدة تتمثل في البحث عن تراكيب نماذج مثلى من حيث استهلاك الحوسبة وبنية التعاون في TTS ضمن ميزانية ثابتة. نُصوّر هذه المشكلة كرسم بياني تعاوني متعدد النماذج اللغوية، حيث تمثل العقد الأدوار وتعيينات نماذج LLM، بينما تمثل الحواف تدفق المعلومات. وتشكل هذه المشكلة تحديًا كبيرًا نظرًا لـ (أ) اتساع فضاء البحث التوافقي بشكل يُحَدِّد مساعي البحث، و(ب) احتياجات المهمة المحددة التي تتطلب تصميمات مُعدَّة خصيصًا. وللتعامل مع هذه التحديات، نُعيد صياغة المشكلة كتحسين رسم بياني احتمالي، ونستخلص من خلال تجارب تجريبية ثلاث رؤى تجريبية حول رسوم تعاون TTS. وتحت إشراف هذه الرؤى، نُقدِّم إطار عمل يُسمَّى Agent-REINFORCE، وهو إطار مُعزَّز بذكاء اصطناعي نموذجي (LLM-agent)، يُقلِّد مسار REINFORCE من خلال تحويل عملية العينة-الانحدار-التحديث إلى عينة-مُلاحظة-تحديث، حيث تُستخدم الملاحظة كمُدرج نصي لتحديث الرسم البياني الاحتمالي، وبذلك يُمكِّن من البحث بكفاءة عن أفضل الرسوم البيانية التعاونية متعددة النماذج اللغوية. وتشير النتائج التجريبية إلى أن Agent-REINFORCE يتفوّق على النماذج التقليدية والأساسية على نماذج LLM من حيث كفاءة العينات وأداء البحث، ويُعدّ فعّالًا في تحديد الرسوم البيانية المثلى ضمن أهداف مجمعة تشمل الدقة وتأخير الاستدلال.
بناء الذكاء الاصطناعي بالذكاء الاصطناعي
من الفكرة إلى الإطلاق — عجّل تطوير الذكاء الاصطناعي الخاص بك من خلال البرمجة المشتركة المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.