التعلم التمثيلي الزائدي لتسريع وتحسين كفاءة الإجابة العصبية على الأسئلة

الهياكل العصبية المهيمنة في استرجاع الإجابات على الأسئلة تعتمد على مشفّرات متكررة أو متشابكة مجهزة بطبقات تطابق كلمات معقدة. بالنظر إلى أن الابتكارات المعمارية الحديثة تتمثل بشكل أساسي في طبقات تفاعل كلمات جديدة أو آليات مطابقة قائمة على الانتباه، يبدو أن من المسلم به أن هذه المكونات ضرورية لتحقيق أداء جيد. ومع ذلك، فإن التكاليف الذاكرة والحسابية التي يسببها هذه الآليات المعقدة غير مرغوب فيها للتطبيقات العملية. لذلك، يتناول هذا البحث السؤال حول إمكانية تحقيق أداء تنافسي باستخدام هياكل عصبية بسيطة. نقترح هيكلاً عميقاً للتعلم الآلي بسيطاً ولكنه جديد لتصنيف وإسترجاع الأسئلة والإجابات بسرعة وكفاءة عالية. وبشكل أكثر تحديداً، النموذج المقترح لدينا، \textsc{HyperQA} (هايبركيو)، هو شبكة عصبية فعالة من حيث المعلمات والتي تتفوق على نماذج أخرى ذات كثافة معلمات مثل \textsc{Attentive Pooling BiLSTMs} (المتجمع الحساس للانتباه ثنائي الاتجاه) و\textsc{Multi-Perspective CNNs} (شبكات التحويل العصبية متعددة المنظور) في عدة مقاييس لاسترجاع الإجابات على الأسئلة. الجديد في \textsc{HyperQA} هو هدف تصنيف زوجي يُمثِّل العلاقة بين تمثيلات الأسئلة والإجابات في الفضاء الزائدي بدلاً من الفضاء الإقليدي. هذا يمنح نموذجنا قدرة تنظيم ذاتي ويتيح اكتشاف التسلسلات الهرمية الكامنة تلقائياً أثناء تعلم تمثيلات الأسئلة والإجابات. لا يتطلب نموذجنا أي تصميم خاص للميزات، ولا أي مطابقة لمصفوفة الشبه، ولا آليات انتباه معقدة ولا طبقات ذات معلمات زائدة، ومع ذلك فإنه يتفوق ويظل تنافسياً مع العديد من النماذج التي تحتوي على هذه الوظائف في عدة مقاييس.