استخراج نورولوغيك A* المُشابه: توليد نص مُحدود باستخدام خوارزميات تنبؤية متقدمة

النمط السائد في توليد النص العصبي هو التفكيك من اليسار إلى اليمين من نماذج اللغة ذات التوليد التلقائي. ومع ذلك، يتطلب التوليد المقيد أو القابل للتحكم تحت قيود لغوية معقدة، تخطيطًا مسبقًا لمسارات مستقبلية ممكنة. بالاستلهام من خوارزمية A، نقترح خوارزمية NeuroLogic Aesque، التي تدمج تقديرات هوuristicية للتكاليف المستقبلية. نطور تقنيات تنبؤية فعّالة تناسب النماذج اللغوية الضخمة، مما يجعل طريقة عملنا بديلًا مباشرًا لتقنيات شائعة مثل البحث بالشريحة (beam search) وعينة أعلى k (top-k sampling). ولتمكين التوليد المقيد، نعتمد على خوارزمية NeuroLogic (Lu et al., 2021)، مدمجين مرونتها في دمج القيود المنطقية مع تقديرات A*esque لرضا القيود المستقبلية.أظهرت منهجيتنا تفوقًا على النماذج التنافسية في خمسة مهام توليد، وحققت أداءً جديدًا في مستوى الحد الأقصى (state-of-the-art) في مهام تحويل الجداول إلى نص، والترجمة الآلية المقيدة، وتوليد النص المُشَرَّط بعوامل مفتاحية. وتميّزت التحسينات بشكل خاص في المهام التي تتطلب رضاً معقدًا عن القيود، أو في بيئات قليلة الأمثلة (few-shot) أو بدون أمثلة (zero-shot). تُظهر NeuroLogic A*esque قوة خوارزميات التفكيك في تحسين قدرات النماذج اللغوية الضخمة وتمكينها من مهام جديدة.