vONTSS: نمذجة موضوعات عصبية شبه مراقبة تعتمد على vMF مع نقل الأمثل

في الآونة الأخيرة، لاقت نماذج الموضوعات العصبية (NTM)، التي تُلهمت بمحاكاة التشفير التبايني (VAE)، اهتمامًا كبيرًا من قبل الباحثين؛ ومع ذلك، تظل هذه الأساليب محدودة الاستخدام في التطبيقات الواقعية بسبب الصعوبة المرتبطة بدمج المعرفة البشرية. تقدم هذه الدراسة منهجًا نموذجيًا نصّيًا عصبيًا شبه مُراقب يُسمى vONTSS، الذي يستخدم محاكاة التشفير التبايني المستندة إلى توزيع فون ميسز-فيشر (vMF) والنقل الأمثل (Optimal Transport). عند توفر عدد قليل من الكلمات المفتاحية لكل موضوع، يقوم vONTSS في البيئة شبه المُراقبة بإنشاء موضوعات محتملة وتحسين جودة العلاقة بين الموضوعات والكلمات المفتاحية، فضلًا عن تحسين تصنيف الموضوعات. تُظهر التجارب أن vONTSS يتفوق على الطرق الحالية لنماذج الموضوعات شبه المُراقبة من حيث دقة التصنيف وتنوع الموضوعات. كما يدعم vONTSS نمذجة الموضوعات دون مراقبة. وتُظهر التجارب الكمية والكيفية أن vONTSS في البيئة غير المُراقبة يتفوق على النماذج العصبية الحديثة في جوانب متعددة: إذ يكتشف vONTSS موضوعات ذات تركيب كثيف واتساق عالٍ على مجموعات البيانات القياسية. كما أنه أسرع بكثير من أحدث الطرق المُراقبة الضعيفة لتصنيف النصوص، مع تحقيق أداء مشابه في التصنيف. ونُثبت أيضًا أن خسارة النقل الأمثل تُعادل خسارة التباديل (Cross-Entropy Loss) عند الحد الأقصى العالمي.