الاحتياجات الأساسية تحتاج إلى المزيد من الحب: حول النماذج البسيطة المستندة إلى تمثيل الكلمات والآليات المرتبطة بتجميعها

تم اقتراح العديد من هياكل التعلم العميق لنمذجة التركيبية في سلاسل النص، مما يتطلب عددًا كبيرًا من المعلمات وعمليات حسابية مكلفة. ومع ذلك، لم يتم إجراء تقييم دقيق حول القيمة الإضافية للوظائف التركيبية المعقدة. في هذا البحث، نقوم بدراسة مقارنة تفصيلية بين نماذج البسيطة القائمة على تمثيل الكلمات (SWEMs)، والتي تتكون من عمليات تجميع خالية من المعلمات، بالنسبة لنماذج RNN/CNN القائمة على تمثيل الكلمات. بشكل مفاجئ، أظهرت نماذج SWEM أداءً مماثلًا أو حتى أفضل في معظم الحالات التي تم دراستها. بناءً على هذه الفهم، نقترح استراتيجيتين تجميعيتين إضافيتين على تمثيلات الكلمات المُتعلَّمة: (i) عملية التجميع الأقصى لتحسين قابلية التفسير؛ و(ii) عملية تجميع هرمي تحافظ على المعلومات المكانية (n-gram) داخل سلاسل النص. نقدم تجارب على 17 مجموعة بيانات تغطي ثلاث مهمات: (i) تصنيف الوثائق (الطويلة)؛ (ii) مطابقة سلاسل النص؛ و(iii) مهمات النص القصير، بما في ذلك التصنيف والتوسيم. يمكن الحصول على الكود المصدر ومجموعات البيانات من https://github.com/dinghanshen/SWEM.