الشبكات العصبية التلافيفية الهرمية العميقة لتصنيف النص

يُقدّم هذا البحث معمولًا عميقًا بسيطًا على مستوى الكلمة لشبكة عصبية متعددة الطبقات (CNN) لتصنيف النصوص، يُمكنه تمثيل العلاقات الطويلة المدى في النص بفعالية. في الأدبيات السابقة، تم اقتراح عدة شبكات عصبية عميقة ومعقدة لهذا الغرض، بافتراض توفر كميات كبيرة نسبيًا من البيانات التدريبية. ومع ذلك، فإن التعقيد الحسابي المرتبط بهذه الشبكات يزداد مع زيادة عمقها، مما يشكل تحديات جسيمة في التطبيقات العملية. علاوة على ذلك، أظهرت دراسات حديثة أن الشبكات العصبية العميقة ذات الطبقات القصيرة على مستوى الكلمة تكون أكثر دقة وأسرع بكثير من الشبكات العميقة جدًا المتطورة مثل الشبكات العصبية على مستوى الحروف، حتى في ظل توفر كميات كبيرة من البيانات التدريبية. مستلهمًا من هذه النتائج، قمنا بدراسة دقيقة لعمق الشبكات العصبية على مستوى الكلمة بهدف التقاط تمثيلات عالمية للنص، ووجدنا معمولًا بسيطًا يمكن من خلاله تحقيق أفضل دقة من خلال زيادة عمق الشبكة دون زيادة كبير في التكلفة الحسابية. وسُمّي هذا المعمول بـ "CNN الهرمي العميق". وتبين أن النموذج المقترح، الذي يحتوي على 15 طبقة وزن، يتفوق على النماذج السابقة الأفضل في ستة مجموعات بيانات معيارية لتصنيف المشاعر وتصنيف المواضيع.