تعلم تكوين هياكل شجرية محددة للمهمة

لسنوات، أثبتت الشبكات العصبية المتكررة (RvNNs) أنها مناسبة لتمثيل النصوص في متجهات ذات أطوال ثابتة وحققت أداءً جيدًا في عدة مهام معالجة اللغة الطبيعية. ومع ذلك، فإن العيب الرئيسي للشبكات العصبية المتكررة هو أنها تتطلب مدخلات منظمة، مما يجعل إعداد البيانات وتنفيذ النموذج صعبًا. في هذا البحث، نقترح Gumbel Tree-LSTM، وهي هندسة ذاكرة طويلة المدى قصيرة المدى ذات بنية شجرية جديدة تتعلم كيفية تركيب الهياكل الشجرية الخاصة بالمهام بكفاءة من بيانات النص البسيطة فقط. يستخدم نموذجنا تقدير Gumbel-Softmax المستقيم لتحديد العقدة الأم بين المرشحين ديناميكيًا ولحساب مشتقات القرار المنفصل. نقيم النموذج المقترح على استدلال اللغة الطبيعية وتحليل المشاعر، ونظهر أن نموذجنا يتفوق أو يكون على الأقل مماثلًا للنماذج السابقة. كما نجد أن نموذجنا يتقارب بشكل كبير أسرع من غيره من النماذج.