Command Palette
Search for a command to run...
كشف متعدد النوايا المشترك مع ملء الفراغات باستخدام التعلم المتناهي المراقب والتأديب الذاتي
كشف متعدد النوايا المشترك مع ملء الفراغات باستخدام التعلم المتناهي المراقب والتأديب الذاتي
Nguyen Anh Tu Hoang Thi Thu Uyen Tu Minh Phuong Ngo Xuan Bach
الملخص
كشف متعدد النوايا وتعبئة الحقول هما مهامتان أساسيتان وحيويتان في فهم اللغة الشفهية. مستوحى من حقيقة أن المهمتين مترابطتان بشكل وثيق، تُفضَّل النماذج المشتركة التي تُمكن من اكتشاف النوايا واستخراج الحقول في نفس الوقت، بدلاً من النماذج الفردية التي تقوم بكل مهمة بشكل منفصل. تعتمد دقة النموذج المشترك بشكل كبير على قدرة النموذج على نقل المعلومات بين المهمتين، بحيث يمكن لنتيجة إحداهما أن تصحيح نتيجة الأخرى. بالإضافة إلى ذلك، وبما أن النموذج المشترك يمتلك مخرجات متعددة، فإن كيفية تدريبه بكفاءة تُعد أيضًا تحديًا. في هذه الورقة، نقدم طريقة للكشف عن متعدد النوايا وتعبئة الحقول من خلال معالجة هذه التحديات. أولاً، نقترح نموذجًا مشتركًا ثنائي الاتجاه يُوظف بشكل صريح معلومات النوايا لتحديد الحقول، وخصائص الحقول للكشف عن النوايا. ثانيًا، نُقدِّم طريقة جديدة لتدريب النموذج المشترك المقترح باستخدام التعلم المُتحفِّز المُوجَّه (supervised contrastive learning) والانحلال الذاتي (self-distillation). أظهرت النتائج التجريبية على مجموعتي بيانات معياريتين، وهما MixATIS و MixSNIPS، أن طريقةً لدينا تفوق النماذج الرائدة في الحقل من حيث الأداء في كلا المهمتين. كما تُظهر النتائج إسهامات كلا التصميم الثنائي الاتجاه والطريقة المقترحة للتدريب في تحسين الدقة. يمكن الوصول إلى الكود المصدري لنا عبر الرابط التالي: https://github.com/anhtunguyen98/BiSLU