Venkatesh Mishra Amir Saeidi Satyam Raj Mutsumi Nakamura Jayanth Srinivasa Gaowen Liu Ali Payani Chitta Baral

الملخص

أظهرت التطورات الحديثة في قدرات النماذج اللغوية الكبيرة (LLMs) على الاستدلال والتخطيط إمكانية استخدامها كوكالات مستقلة قادرة على استخدام الأدوات في البيئات الديناميكية. ومع ذلك، في البيئات الحوارية متعددة الدورات مثل منصة $τ$-bench، تواجه هذه الوكالات صعوبات متكررة في الحفاظ على استدلال منسق، والالتزام بالسياسات الخاصة بالقطاع، واستخراج المعلومات الصحيحة على مدى طويل من استدعاءات الأدوات والمحادثات. وللإدراك والحد من هذه الأخطاء، قمنا بتحليل يدوي شامل للأخطاء الشائعة التي تحدث في مسارات الحوار. ثم قمنا باختبار إعادة صياغة المدخلات المقدمة إلى وكالة استدعاء الأدوات بهدف تحسين قرارات الوكالة. وأخيرًا، نقترح إطارًا جديدًا يُسمى IRMA (إطار الوكالة المتعددة لإعادة صياغة المدخلات)، الذي يقوم بشكل تلقائي بإعادة صياغة استفسارات المستخدم مع إضافة قواعد قطاعية ذات صلة واقتراحات أدوات، بهدف تمكين وكالة استدعاء الأدوات من التركيز على الجوانب ذات الصلة. أظهرت النتائج أن IRMA يتفوق بشكل ملحوظ على نماذج ReAct وFunction Calling وSelf-Reflection بنسبة 16.1% و12.7% و19.1% على التوالي في مقياس الأداء الكلي (pass^5). تُبرز هذه النتائج الموثوقية والاتساق الأعلى لـ IRMA مقارنة بالطرق الأخرى في البيئات الديناميكية.