نمذجة اللغة باستخدام شبكات الالتواء المُحكَمة

النهج السائد حتى الآن في نمذجة اللغة يعتمد على الشبكات العصبية المتكررة. غالباً ما يرتبط نجاحها في هذه المهمة بقدرتها على التقاط السياق غير المحدود. في هذا البحث، نطور نهجاً قائماً على السياق المحدد من خلال التراكيب المتراصة، والتي يمكن أن تكون أكثر كفاءة لأنها تسمح بالتوازي بين الرموز التسلسلية. نقترح آلية إغلاق مبسطة جديدة تتفوق على أداء أوورد وآخرون (2016)، وندرس تأثير القرارات الهندسية الرئيسية. يحقق النهج المقترح أفضل النتائج الحالية في معيار WikiText-103، رغم أنه يتضمن اعتمادات طويلة الأجل، وكذلك نتائج تنافسية في معيار Google Billion Words. يقلل نموذجنا من زمن الاستجابة لتصنيف جملة بمقدار عشري مقارنة بنموذج متكرر قياسي. حسب علم us، هذه هي المرة الأولى التي يكون فيها نهج غير متكرر تنافسياً مع النماذج المتكررة القوية在这类大规模语言任务上 (in these large-scale language tasks).