ربط نماذج اللغة في اللغات الرمزية

رغم أن النماذج العصبية من البداية إلى النهاية قد تفوقت مؤخرًا في مهام معالجة اللغة الطبيعية (NLP) من حيث الأداء وسهولة الاستخدام، إلا أنها تعاني من نقص في القابلية للشرح والمتانة. نقترح نظام "Binder" وهو إطار عصبي-رمزي خالٍ من التدريب يربط المدخلات الخاصة بالمهام ببرنامج، مما (1) يسمح بربط واجهة برمجة تطبيقات موحدة لوظائف نموذج اللغة (LM) بلغة برمجة (مثل SQL أو Python) لتوسيع تغطية قواعد بناء الجمل وبالتالي التعامل مع أسئلة أكثر تنوعًا، (2) يستخدم نموذج اللغة كمحلل للبرامج والنموذج الأساسي الذي يتم استدعاؤه بواسطة واجهة برمجة التطبيقات أثناء التنفيذ، و(3) يتطلب فقط عددًا قليلًا من التوضيحات السياقية.بشكل خاص، نستخدم GPT-3 Codex كنموذج لغة. في مرحلة التحليل، بمجرد وجود عدد قليل من الأمثلة السياقية، يمكن لـ Codex تحديد الجزء من المدخلات التي لا يمكن الإجابة عنها باستخدام اللغة البرمجية الأصلية، وتوليد دعوات API بشكل صحيح لتحفيز Codex على حل الجزء غير قابل للإجابة، وتحديد مكان وضع دعوات API مع الحفاظ على التوافق مع القواعد الأصلية. في مرحلة التنفيذ، يمكن لـ Codex أداء مجموعة متنوعة من الوظائف (مثل الإجابة على أسئلة المنطق الشائع واستخراج المعلومات) عند تقديم الدعوات المناسبة في API.يحقق نظام Binder أفضل النتائج الحالية على مجموعات البيانات WikiTableQuestions و TabFact، مع برامج إخراج واضحة تساعد في تصحيح الأخطاء البشرية. يجب ملاحظة أن أفضل الأنظمة السابقة تم ضبطها بدقة على عشرات الآلاف من العينات الخاصة بالمهام، بينما يستخدم Binder فقط العشرات من التوضيحات السياقية دون أي تدريب. رمزنا متاح على الرابط: https://github.com/HKUNLP/Binder .