HyperAIHyperAI

Command Palette

Search for a command to run...

سؤال: تمثيل الكلمات بغض النظر عن التردد

Chengyue Gong*1 [email protected] Di He*2 [email protected] Xu Tan3 [email protected] Tao Qin3 [email protected] Liwei Wang2,4 [email protected] Tie-Yan Liu3 [email protected]

الملخص

التمثيل الكلامي المستمر (المعروف أيضًا بـ تمثيل الكلمات) هو أحد العناصر الأساسية في العديد من النماذج القائمة على الشبكات العصبية المستخدمة في مهام معالجة اللغة الطبيعية. رغم أنه يُقبل على نطاق واسع أن الكلمات ذات الدلالات المعجمية المتشابهة يجب أن تكون قريبة من بعضها البعض في فضاء التمثيل، فقد اكتشفنا أن التمثيلات الكلامية التي يتم تعلمها في عدة مهام تكون متحيزة نحو تكرار الكلمات: تقع التمثيلات الكلامية للكلمات شديدة التكرار والكلمات قليلة التكرار في مناطق فرعية مختلفة من فضاء التمثيل، ويمكن أن يكون تمثيل كلمة نادرة بعيدًا عن تمثيل كلمة شائعة حتى لو كانتا متشابهتين دلاليًا. هذا يجعل التمثيلات الكلامية المُتعلَّمة غير فعالة، خاصة بالنسبة للكلمات النادرة، وبالتالي يحد من أداء هذه النماذج العصبية. في هذا البحث، طورنا طريقة بسيطة وأنيقة ولكنها فعالة لتعلم \emph{تمثيل الكلمات الخالي من تأثير التكرار} (FRAGE) باستخدام التدريب المعادي. أجرينا دراسات شاملة على عشرة مجموعات بيانات عبر أربع مهام لمعالجة اللغة الطبيعية، بما في ذلك تشابه الكلمات، ونمذجة اللغة، وترجمة الآلة، تصنيف النصوص. أظهرت النتائج أن استخدام FRAGE حقق أداءً أعلى من خطوط الأساس في جميع المهام.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
سؤال: تمثيل الكلمات بغض النظر عن التردد | مستندات | HyperAI