HyperAIHyperAI
منذ 2 أشهر

نموذج متوازي-هرمي للفهم الآلي على بيانات نادرة

Adam Trischler; Zheng Ye; Xingdi Yuan; Jing He; Phillip Bachman; Kaheer Suleman
نموذج متوازي-هرمي للفهم الآلي على بيانات نادرة
الملخص

فهم النصوص غير المهيكلة هو هدف رئيسي في معالجة اللغة الطبيعية. تقدم اختبارات الفهم أسئلة تعتمد على مقاطع نص قصيرة لتقييم هذا الفهم. في هذه الدراسة، نستكشف فهم الآلة لمعيار {\it MCTest} الصعب. بسبب حجمه المحدود جزئياً، ركزت الدراسات السابقة على {\it MCTest} بشكل أساسي على تطوير ميزات أفضل من خلال الهندسة. نواجه مجموعة البيانات بنهج عصبي، مستخدمين شبكات عصبية بسيطة مرتبة في هرم متوازي. يمكّن الهيكل الهرمي المتوازي نموذجنا من مقارنة المقطع النصي والسؤال والإجابة من وجهات نظر قابلة للتدريب ومتنوعة، بدلاً من استخدام مجموعة ميزات صلبة تم تصميمها يدوياً. تتراوح وجهات النظر من مستوى الكلمة إلى أجزاء الجمل إلى سلاسل الجمل؛ تعمل الشبكات فقط على تمثيلات النصوص المستندة إلى تضمين الكلمات (word embeddings). عند التدريب باستخدام منهجية مصممة لمساعدة في التعامل مع بيانات التدريب المحدودة، يحدد نموذجنا الهرمي المتوازي حالة جديدة للتقنية في {\it MCTest}، حيث يتفوق بشكل طفيف على الأساليب السابقة التي اعتمدت على هندسة الميزات وبنسبة كبيرة (أكثر من 15\% مطلقة) على الأساليب العصبية السابقة.

نموذج متوازي-هرمي للفهم الآلي على بيانات نادرة | أحدث الأوراق البحثية | HyperAI