HyperAIHyperAI

Command Palette

Search for a command to run...

الاستدلال كمتعلم قليل الطلقات

Sinong Wang; Han Fang; Madian Khabsa; Hanzi Mao; Hao Ma

الملخص

أظهرت النماذج اللغوية المدربة مسبقًا والكبيرة قدرات ملحوظة كمتعلمات ذات أمثلة قليلة. ومع ذلك، يعتمد نجاحها بشكل كبير على توسيع معلمات النموذج إلى درجة تجعل التدريب والتشغيل صعبين. في هذا البحث، نقترح منهجية جديدة باسم EFL (التعلم الفعال بالقليل من الأمثلة)، والتي يمكن أن تحوّل النماذج اللغوية الصغيرة إلى متعلمات أفضل ذات أمثلة قليلة. الفكرة الرئيسية لهذه المنهجية هي إعادة صياغة المهام المحتملة في مجال معالجة اللغة الطبيعية كمهام استنباطية (entailment)، ومن ثم ضبط النموذج بكمية قليلة جدًا من الأمثلة، يصل عددها إلى 8 أمثلة فقط. نوضح أيضًا أن طريقة التعلم المقترحة يمكن أن تكون: (i) مدمجة بطبيعتها مع طريقة زيادة البيانات المستندة إلى التعلم التبايني غير المنظور؛ (ii) قابلة للتوسع بسهولة إلى التعلم القليل الأمثل متعدد اللغات. أثبتت تقييمات منهجية أجريت على 18 مهمة قياسية في مجال معالجة اللغة الطبيعية أن هذه المنهجية تحسن الطرق الحالية المتقدمة للتعلم القليل الأمثل بنسبة 12٪، وتحقق أداءً تنافسيًا في التعلم القليل الأمثل مع نماذج أكبر بمقدار 500 مرة مثل GPT-3.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
الاستدلال كمتعلم قليل الطلقات | مستندات | HyperAI