استرجاع المعلومات بالكامل بناءً على الانتباه

الشبكات العصبية المتكررة هي الآن في طليعة معالجة اللغة الطبيعية لأنها قادرة على بناء تمثيلات سياقية غنية ومعالجة نصوص ذات طول غير محدد. ومع ذلك، فإن التطورات الحديثة في آليات الانتباه قد مكنت الشبكات التغذوية من امتلاك قدرات مشابهة، مما أدى إلى تسريع الحسابات بفضل زيادة عدد العمليات التي يمكن تنفيذها بالتوازي. نستكشف هذا النوع الجديد من الهندسة المعمارية في مجال الإجابة على الأسئلة ونقترح نهجًا جديدًا نسميه جامع المعلومات القائم بالكامل على الانتباه (FABIR). نوضح أن FABIR يحقق نتائج تنافسية في مجموعة بيانات الإجابة على الأسئلة الخاصة بستانفورد (SQuAD) بينما لديه عدد أقل من المعلمات ويكون أسرع في التعلم والاستدلال مقارنة بالطرق المنافسة.