نماذج الانتباه من الرتبة العالية لأسئلة الصور البصرية

البحث عن خوارزميات تمكن من القدرات الإدراكية هو جزء مهم من تعلم الآلة. صفة مشتركة في العديد من المهام الإدراكية المشابهة التي تم التحقيق فيها مؤخرًا هي أنها تأخذ بعين الاعتبار أنماط بيانات مختلفة، مثل المدخلات البصرية والنصية. في هذا البحث، نقترح شكلًا جديدًا وقابلًا للتطبيق بشكل عام لآلية الانتباه التي تتعلم الارتباطات ذات الرتبة العالية بين مختلف أنماط البيانات. نوضح أن هذه الارتباطات ذات الرتبة العالية توجه انتباهًا فعالًا إلى العناصر المناسبة في الأنماط المختلفة للبيانات المطلوبة لحل المهمة المشتركة. نثبت فعالية آليتنا للانتباه ذي الرتبة العالية في مهمة الإجابة على الأسئلة البصرية (VQA)، حيث نحقق أداءً متفوقًا على مجموعة البيانات VQA القياسية.