HyperAIHyperAI

Command Palette

Search for a command to run...

الملخص المُختلف يمكن أن يجعل نماذج اللغة المُدرّبة مسبقًا أكثر كفاءة في التعلّم من عدد قليل من الأمثلة

Ningyu Zhang Luoqiu Li Xiang Chen Shumin Deng Zhen Bi Chuanqi Tan Fei Huang Huajun Chen

الملخص

لقد ساهمت النماذج اللغوية الكبيرة المُدرّبة مسبقًا بشكل كبير في مجال معالجة اللغة الطبيعية من خلال إظهار قدرات متميزة كمُتعلمين بقليل من الأمثلة (few-shot learners). ومع ذلك، فإن فعالية هذه النماذج تعتمد بشكل رئيسي على توسيع عدد معاملات النموذج وتصميم النص التوجيهي (prompt)، مما يعيق تطبيقها في معظم التطبيقات الواقعية. تُقدّم هذه الدراسة منهجًا جديدًا قابلاً للتركيب، قابلاً للتوسيع، وفعالًا يُسمى "DART" (DifferentiAble pRompT)، والذي يمكنه تحويل النماذج اللغوية الصغيرة إلى مُتعلمين بقليل من الأمثلة بشكل أفضل دون الحاجة إلى هندسة نص توجيهي. يعتمد المبدأ الأساسي لهذا النهج على إعادة صياغة المهام المحتملة في مجال معالجة اللغة الطبيعية إلى مهمة تُؤديها النماذج اللغوية المُدرّبة مسبقًا، مع تحسين نمط النص التوجيهي والوسوم المستهدفة بشكل تفاضلي باستخدام التدرج العكسي (backpropagation). علاوة على ذلك، يمكن لهذا النهج: (1) دمجه مع أي نموذج لغوي مُدرّب مسبقًا؛ (2) توسيعه ليشمل مهام التصنيف الشائعة. وتشير التقييمات الشاملة للوظائف القياسية في معالجة اللغة الطبيعية إلى أن النهج المقترح يحقق أداءً أفضل في المهام القائمة على عدد قليل من الأمثلة. يمكن الوصول إلى الكود عبر الرابط: https://github.com/zjunlp/DART.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp