CTRAN: شبكة تعتمد على CNN و Transformer لفهم اللغة الطبيعية

كشفت التحليلات النصية الطبيعية عن مهمتين رئيسيتين: كشف النية وتعبئة الحقول (slot-filling). وفي هذه الدراسة، نقترح CTRAN، وهي بنية مبتكرة من نوع مشفر-مُفكِّك تعتمد على مزيج من الشبكات العصبية التلافيفية (CNN) والمحولات (Transformer)، لمعالجة مهام كشف النية وتعبئة الحقول. في الجزء المشفر، نستخدم BERT متبوعًا بعدد من الطبقات التلافيفية، ثم نعيد ترتيب المخرجات باستخدام تسلسل ميزات نافذة (window feature sequence). بعد هذا التسلسل، نستخدم مُشفرات Transformer متعددة الطبقات. أما في مُفكِّك كشف النية، فيُستخدم الانتباه الذاتي (self-attention) متبوعًا بطبقة خطية. وفي مُفكِّك تعبئة الحقول، نقدم مُفكِّك Transformer المُتماسك، الذي يستخدم قناعًا ذا قِطَع صفرية على القطر (zero diagonal mask)، مما يُمكِّن من محاذاة العلامات المُخرجة مع الرموز المدخلة (tokens). وعند تطبيق شبكتنا على مجموعتي بيانات ATIS وSNIPS، تفوقت على أفضل النتائج الحالية في مهام تعبئة الحقول في كلا المجموعتين. علاوة على ذلك، قمنا بدمج نموذج اللغة كمُدخلات كلمات (word embeddings)، وبيّنا أن هذه الاستراتيجية تُعطي نتائج أفضل مقارنةً باستخدام نموذج اللغة كمشفر.