نقترح معمارية انتباه عصبية جديدة لمعالجة مهام الفهم الآلي، مثل الإجابة على استفسارات من نوع Cloze بناءً على وثيقة. على عكس النماذج السابقة، لا نقوم بضغط الاستفسار إلى متجه واحد، بل نستخدم آلية انتباه تبادلي متكرر تسمح باستكشاف دقيق لكل من الاستفسار والوثيقة. يتفوق نموذجنا على أفضل النماذج الأساسية في مقاييس الفهم الآلي القياسية مثل مقالات أخبار CNN ومجموعة بيانات اختبار كتاب الطفل (CBT).