HyperAIHyperAI

Command Palette

Search for a command to run...

تَنْدَا: نقل وتكيف نماذج المحولات المُدرَّبة مسبقًا للتحديد الذكي لجملة الإجابة

Siddhant Garg Thuy Vu Alessandro Moschitti

الملخص

نُقدّم TANDA، تقنية فعّالة لتحسين النماذج المُدرّبة مسبقًا من نوع Transformer للوظائف المتعلقة باللغة الطبيعية. بشكل محدد، نقوم أولًا بتحويل نموذج مُدرّب مسبقًا إلى نموذج عام من خلال تحسينه باستخدام مجموعة بيانات كبيرة وعالية الجودة. ثم نُجري خطوة تحسين ثانية لتكييف النموذج المنقولة مع المجال المستهدف. نُظهر فوائد نهجنا في مسألة اختيار الجملة الإجابة، وهي مهمة معروفة في مجال الاستدلال ضمن أسئلة وأجوبة. وقد قمنا ببناء مجموعة بيانات كبيرة لتمكين خطوة النقل، مستفيدين من مجموعة بيانات Natural Questions. يُعدّ نهجنا الأفضل على حسب الحالة الراهنة في بحثين معروفين، وهما WikiQA وTREC-QA، حيث حقق أداءً بمقاييس MAP بلغ 92% و94.3% على التوالي، مما يتفوق بشكل كبير على أعلى الدرجات السابقة التي بلغت 83.4% و87.5%، والتي تم تحقيقها في أبحاث حديثة جدًا. ونُظهر تجريبيًا أن TANDA تُنتج نماذج أكثر استقرارًا ومتانة، مما يقلل من الجهد المطلوب لاختيار القيم المثلى للبارامترات المُعطاة. علاوة على ذلك، نُظهر أن خطوة النقل في TANDA تجعل خطوة التكييف أكثر مقاومة للضوضاء، مما يمكّن من استخدام أكثر فعالية لمجموعات بيانات ملوثة في عملية التحسين. وأخيرًا، نُؤكد أيضًا التأثير الإيجابي لـ TANDA في بيئة صناعية حقيقية، باستخدام مجموعات بيانات متخصصة تخضع لأنواع مختلفة من الضوضاء.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp