نموذج الموضوع العصبي من خلال النقل الأمثل

في الآونة الأخيرة، أظهرت نماذج الموضوعات العصبية (NTMs) المُلهمة بنماذج التشفير التلقائي المتغير (VAEs) اهتمامًا بحثيًا متزايدًا بفضل النتائج الواعدة التي حققتها في تحليل النصوص. ومع ذلك، يُعد من الصعب عادةً على النماذج الحالية لـ NTMs تحقيق تمثيل ممتاز للمستندات مع تحقيق موضوعات متماسكة ومتنوعة في آنٍ واحد. علاوةً على ذلك، غالبًا ما تنخفض أداؤها بشكل كبير عند التعامل مع المستندات القصيرة. كما أن متطلبات إعادة التمثيل (reparameterisation) قد تؤثر سلبًا على جودة التدريب ومرونة النموذج. لمعالجة هذه العيوب، نقدم نموذجًا موضوعيًا عصبيًا جديدًا مستندًا إلى نظرية النقل الأمثل (OT). وبشكل محدد، نقترح تعلُّم توزيع الموضوعات الخاص بمستند من خلال تقليل المسافة النقلية الأمثل (OT) مباشرةً بين توزيع الكلمات في المستند وتوزيع الموضوعات. وتجدر الإشارة إلى أن مصفوفة التكلفة في المسافة النقلية الأمثل تُمثل الأوزان بين الموضوعات والكلمات، وتُبنى بناءً على المسافات بين الموضوعات والكلمات في فضاء التضمين (embedding space). ويمكن تدريب النموذج المقترح بكفاءة باستخدام دالة خسارة قابلة للتفاضل. وتبين التجارب الواسعة أن إطارنا يتفوق بشكل كبير على أفضل النماذج الحالية من حيث NTMs في اكتشاف موضوعات أكثر تماسكًا وتنوعًا، وتقديم تمثيلات أفضل للمستندات، سواء في النصوص العادية أو القصيرة.