إلى استرجاع الأدوات الموجه نحو الشمولية لنموذج اللغة الكبير

في الآونة الأخيرة، اكتسب دمج الأدوات الخارجية مع النماذج اللغوية الكبيرة (LLMs) اهتمامًا كبيرًا كاستراتيجية فعالة للتخفيف من القيود المتأصلة في بيانات التدريب المسبق لهذه النماذج. ومع ذلك، فإن الأنظمة الواقعية غالبًا ما تتضمن مجموعة واسعة من الأدوات، مما يجعل من غير العملي إدخال جميع الأدوات إلى النماذج اللغوية الكبيرة بسبب القيود المتعلقة بطول النص والتأخير الزمني. وبالتالي، للاستفادة الكاملة من الإمكانات المتوفرة في النماذج اللغوية الكبيرة المدعومة بالأدوات، يُعد تطوير نظام فعّال لاسترجاع الأدوات أمرًا بالغ الأهمية. تركز الطرق الحالية لاسترجاع الأدوات بشكل رئيسي على التطابق الدلالي بين استفسارات المستخدم ووصف الأدوات، مما يؤدي غالبًا إلى استرجاع أدوات متكررة أو متشابهة. ونتيجة لذلك، تفشل هذه الطرق في توفير مجموعة شاملة ومتنوعة من الأدوات الضرورية لمعالجة المشكلات المعقدة التي تواجهها النماذج اللغوية الكبيرة. في هذا البحث، نقترح نموذجًا جديدًا لا يعتمد على نموذج معين (model-agnostic) يُسمى COLT (COllaborative Learning-based Tool Retrieval)، والذي يُدرك ليس فقط التشابه الدلالي بين استفسارات المستخدم ووصف الأدوات، بل يأخذ أيضًا في الاعتبار المعلومات التعاونية بين الأدوات. بشكل محدد، نقوم أولاً بضبط النماذج القائمة على نماذج لغوية مسبقة التدريب (PLM) لاستخلاص العلاقات الدلالية بين الاستفسارات والأدوات خلال مرحلة التعلم الدلالي. ثم نُنشئ ثلاث رسم بيانيات ثنائية (bipartite graphs) بين الاستفسارات، والسيناريوهات، والأدوات، ونُقدّم إطار عمل تعلم تعاوني على وجهين لاستكشاف العلاقات التعاونية المعقدة بين الأدوات خلال مرحلة التعلم التعاوني. أظهرت التجارب الواسعة على المعيار المفتوح والبيانات الجديدة ToolLens أداءً متفوقًا لنموذج COLT. ومن الملاحظ بشكل خاص أن أداء نموذج BERT-mini (11 مليون معلمة) باستخدام الإطار النموذجي المقترح يتفوق على أداء BERT-large (340 مليون معلمة)، الذي يمتلك 30 مرة أكثر من المعلمات. علاوة على ذلك، سنُطلق بيانات ToolLens بشكل مفتوح لتمكين الأبحاث المستقبلية في مجال استرجاع الأدوات.