نموذج انتباه قابل للتفكيك للإدراك اللغوي الطبيعي

نقترح معمارية عصبية بسيطة للإدراك اللغوي الطبيعي. يعتمد نهجنا على استخدام الانتباه لتفكيك المشكلة إلى مشكلات فرعية يمكن حلها بشكل منفصل، مما يجعله قابلاً للتنفيذ المتوازي بشكل تلقائي. على مجموعة بيانات إدراك اللغة الطبيعية في جامعة ستانفورد (SNLI)، حققنا نتائج رائدة باستخدام عدد أقل بكثير من المعلمات مقارنة بالأعمال السابقة، دون الاعتماد على أي معلومات حول ترتيب الكلمات. إضافة انتباه داخلي بين الجمل الذي يأخذ الحد الأدنى من الترتيب بعين الاعتبار يؤدي إلى تحسينات إضافية.