HyperAIHyperAI

Command Palette

Search for a command to run...

نموذج الموضوع العصبي من خلال النقل الأمثل

He Zhao Dinh Phung Viet Huynh Trung Le Wray Buntine

الملخص

في الآونة الأخيرة، أظهرت نماذج الموضوعات العصبية (NTMs) المُلهمة بنماذج التشفير التلقائي المتغير (VAEs) اهتمامًا بحثيًا متزايدًا بفضل النتائج الواعدة التي حققتها في تحليل النصوص. ومع ذلك، يُعد من الصعب عادةً على النماذج الحالية لـ NTMs تحقيق تمثيل ممتاز للمستندات مع تحقيق موضوعات متماسكة ومتنوعة في آنٍ واحد. علاوةً على ذلك، غالبًا ما تنخفض أداؤها بشكل كبير عند التعامل مع المستندات القصيرة. كما أن متطلبات إعادة التمثيل (reparameterisation) قد تؤثر سلبًا على جودة التدريب ومرونة النموذج. لمعالجة هذه العيوب، نقدم نموذجًا موضوعيًا عصبيًا جديدًا مستندًا إلى نظرية النقل الأمثل (OT). وبشكل محدد، نقترح تعلُّم توزيع الموضوعات الخاص بمستند من خلال تقليل المسافة النقلية الأمثل (OT) مباشرةً بين توزيع الكلمات في المستند وتوزيع الموضوعات. وتجدر الإشارة إلى أن مصفوفة التكلفة في المسافة النقلية الأمثل تُمثل الأوزان بين الموضوعات والكلمات، وتُبنى بناءً على المسافات بين الموضوعات والكلمات في فضاء التضمين (embedding space). ويمكن تدريب النموذج المقترح بكفاءة باستخدام دالة خسارة قابلة للتفاضل. وتبين التجارب الواسعة أن إطارنا يتفوق بشكل كبير على أفضل النماذج الحالية من حيث NTMs في اكتشاف موضوعات أكثر تماسكًا وتنوعًا، وتقديم تمثيلات أفضل للمستندات، سواء في النصوص العادية أو القصيرة.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp