التحفيز من الأقل إلى الأكثر يمكّن النماذج اللغوية الكبيرة من التفكير المعقد

أظهرت تقنية التحفيز المتسلسل للتفكير (Chain-of-thought prompting) أداءً متميزًا في مهام التفكير باللغة الطبيعية المختلفة. ومع ذلك، تميل هذه التقنية إلى الأداء الضعيف في المهام التي تتطلب حل المشكلات الأصعب من الأمثلة المقدمة في النص التحفيزي. لتجاوز هذه التحديات المتعلقة بالتعميم من السهل إلى الصعب، نقترح استراتيجية تحفيز جديدة تُعرف بـ "التحفيز من الأقل إلى الأكبر" (least-to-most prompting). الفكرة الأساسية في هذه الاستراتيجية تكمن في تقسيم المشكلة المعقدة إلى سلسلة من المشكلات الفرعية الأسهل، ثم حلها بالتتابع. ويساعد حل كل مشكلة فرعية على تبسيط حل المشكلات اللاحقة من خلال الاستفادة من إجابات المشكلات الفرعية المُحلّة سابقًا. أظهرت النتائج التجريبية على مهام تتعلق بالمعالجة الرمزية، والتعميم التراكبي، والتفكير الرياضي أن تقنية التحفيز من الأقل إلى الأكبر قادرة على التعميم على مشكلات أكثر صعوبة من تلك التي ظهرت في النصوص التحفيزية. ويشير اكتشاف مهم إلى أن استخدام نموذج GPT-3 code-davinci-002 مع تقنية التحفيز من الأقل إلى الأكبر يمكنه حل معيار التعميم التراكبي SCAN في أي تقسيم (بما في ذلك التقسيم حسب الطول) بدقة لا تقل عن 99% باستخدام فقط 14 مثالًا، مقارنةً بدقة 16% فقط باستخدام التحفيز المتسلسل للتفكير. ويُعد هذا إنجازًا ملحوظًا، خصوصًا أن النماذج العصبية-الرمزية المُدرجة في الأدبيات التي تُخصص لحل مسألة SCAN تُدرّب على مجموعة التدريب الكاملة التي تحتوي على أكثر من 15,000 مثال. وتم تضمين النصوص التحفيزية لكل المهام في الملحق.