HyperAIHyperAI

Command Palette

Search for a command to run...

منذ 13 أيام

LoopTool: إغلاق دورة البيانات-التدريب لاستدعاءات الأدوات القوية للنماذج اللغوية الكبيرة

Kangning Zhang Wenxiang Jiao Kounianhua Du Yuan Lu Weiwen Liu Weinan Zhang Lei Zhang Yong Yu

LoopTool: إغلاق دورة البيانات-التدريب لاستدعاءات الأدوات القوية للنماذج اللغوية الكبيرة

الملخص

يُمكّن دمج نماذج اللغة الكبيرة (LLMs) بأدوات خارجية من أداء مهام معقدة تتطلب خطوات متعددة. ومع ذلك، يعاني تعلّم الأدوات من أنظمة توليد البيانات الاصطناعية الثابتة، حيث تُنفَّذ عمليات توليد البيانات وتدريب النموذج كعمليتين منفصلتين وغير تفاعليتين. وتؤدي هذه المنهجية إلى فشل في التكيّف مع نقاط الضعف المحددة في النموذج، وتسمح ببقاية التصنيفات الضوضائية، مما يُضعف كفاءة التدريب. نقدّم "LoopTool"، وهي إطار عمل تطوري للبيانات تلقائي بالكامل وواعٍ بالنموذج، يُغلق هذه الدائرة من خلال دمجٍ وثيق بين توليد البيانات وتدريب النموذج. يُعدّ LoopTool عملية مُتكررة لتحسين كل من البيانات والنموذج من خلال ثلاث وحدات متميزة ومتآزرة: (1) استقصاء القدرات الجشع (GCP)، الذي يُحدّد القدرات التي تَمَكَّن النموذج من إتقانها، والقدرات التي فشل فيها؛ (2) التحقق من التصنيفات المُوجَّه بالتصنيف (JGLV)، الذي يستخدم نموذجًا مفتوح المصدر للكشف عن الأخطاء في التصنيف وتصحيحها، وتحديث مجموعة البيانات تدريجيًا لتنقيتها؛ (3) توسيع البيانات المُوجَّه بالخطأ (EDDE)، الذي يُولِّد عينات جديدة وصعبة بناءً على الفشل المُحدَّد. تعمل هذه العملية المُغلقة الدائرة داخل بيئة مفتوحة المصدر وفعّالة من حيث التكلفة، وتجعلها مستقلة تمامًا عن واجهات برمجة التطبيقات (APIs) المُغلقة وذات التكلفة العالية. تُظهر النتائج التجريبية أن النموذج بحجم 8B المدرب باستخدام LoopTool يتفوّق بشكل كبير على مُولِّد البيانات بحجم 32B، ويُحقّق نتائج قياسية جديدة في معايير BFCL-v3 وACEBench وفقًا لحجمه. تُبيّن نتائج بحثنا أن أنظمة تدريب البيانات المُغلقة الدائرة والقائمة على التحسين الذاتي يمكنها تحسين قدرات نماذج اللغة الكبيرة في استخدام الأدوات بشكل جذري.

بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — عجّل تطوير الذكاء الاصطناعي الخاص بك من خلال البرمجة المشتركة المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة المشتركة بالذكاء الاصطناعي
وحدات معالجة رسومات جاهزة
أفضل الأسعار
ابدأ الآن

Hyper Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
LoopTool: إغلاق دورة البيانات-التدريب لاستدعاءات الأدوات القوية للنماذج اللغوية الكبيرة | الأوراق البحثية | HyperAI