مقارنة، ضغط ونشر: تحسين الهندسات العصبية بعامل التحديد للإدراك اللغوي الطبيعي

يقدم هذا البحث معمارية جديدة للتعلم العميق لاستدلال اللغة الطبيعية (NLI). أولاً، نقدم معمارية جديدة تقوم بمقارنة أزواج التحالف، ضغطها، ثم نشرها إلى الطبقات العليا لتحسين تعلم التمثيل. ثانياً، نعتمد طبقات التحليل العاملية لتحقيق ضغط كفء ومعبر لأزواج التحالف إلى خصائص قياسية يتم استخدامها بعد ذلك لتقوية تمثيلات الكلمات الأساسية. يهدف تصميم منهجيتنا إلى أن تكون بسيطة ومكثفة ومع ذلك قوية. نجري تجارب على ثلاثة مقاييس شهيرة هي SNLI وMultiNLI وSciTail، ونحقق أداءً تنافسياً في جميعها. كما أن معلمة خفيفة الوزن لنموذجنا تستمتع بانخفاض حجم المعلمات بنسبة حوالي ثلاث مرات مقارنة بالأنماط الرائدة الحالية مثل ESIM وDIIN، مع الحفاظ على الأداء التنافسي. بالإضافة إلى ذلك، تظهر التحليل البصري أن الخصائص المنقولة لدينا يمكن فهمها بشكل كبير.