HyperAIHyperAI
منذ 2 أشهر

الاستدلال متعدد المدى لفهم الآلة

Yi Tay; Luu Anh Tuan; Siu Cheung Hui
الاستدلال متعدد المدى لفهم الآلة
الملخص

نقترح وحدات الاستدلال متعددة المدى (MRU - Multi-Range Reasoning Units)، وهي مُشفر جديد سريع ومُركب لفهم الآلة (MC - Machine Comprehension). يتميز مشفرات MRU المقترحة بوجود بوابات متعددة المدى، حيث تقوم بتنفيذ سلسلة من طبقات الانكماش والتوسع المعلمة لتعلم متجهات البوابة التي تستفيد من الارتباطات طويلة الأجل وقصيرة الأجل. وأهداف نهجنا هي كما يلي: (1) تعلم التمثيلات التي تكون على دراية بالسياق طويل الأجل وقصير الأجل في آن واحد، (2) نمذجة العلاقات بين الكتل داخل الوثيقة، و(3) ترميز التتابع بشكل سريع وكفء.نظهر أن المشفر المقترح لدينا يحقق نتائج واعدة سواءً كمشفر مستقل أو كوحدة بناء مكملة. قمنا بإجراء تجارب شاملة على ثلاثة مجموعات بيانات صعبة لفهم الآلة، وهي RACE وSearchQA وNarrativeQA، حيث حققنا أداءً تنافسيًا عاليًا في جميعها. على مقاييس RACE، تتفوق نموذجنا على شبكات الاندماج الديناميكي (DFN - Dynamic Fusion Networks) بنسبة 1.5٪ إلى 6٪ دون استخدام أي طبقات متكررة أو طبقات التوسع. وبالمثل، حققنا أداءً تنافسيًا مقارنة بنموذج AMANDA في مقاييس SearchQA وأداءً تنافسيًا مقارنة بنموذج BiDAF في مقاييس NarrativeQA دون استخدام أي طبقات LSTM/GRU. وأخيرًا، فإن دمج مشفرات MRU مع هياكل BiLSTM القياسية يحسن الأداء بشكل أكبر، مما يحقق أفضل النتائج الحالية.

الاستدلال متعدد المدى لفهم الآلة | أحدث الأوراق البحثية | HyperAI