الاهتمام أكثر بالبروز: إنشاء تسميات صورية مع الانتباه إلى البروز والسياق

لقد حظيت تسمية الصور باهتمام كبير مؤخرًا بفضل الإنجازات المثيرة للإعجاب التي أظهرتها هياكل التسمية العميقة، والتي تجمع بين شبكات العصبونات التلافيفية لاستخراج تمثيلات الصور وشبكات العصبونات المتكررة لتوليد التسميات المقابلة. وفي الوقت نفسه، تم تخصيص جهد بحثي كبير لتطوير نماذج التنبؤ بالبروز البصري، والتي يمكنها التنبؤ بمواقع التركيز البصري للإنسان. رغم أن معلومات البروز قد تكون مفيدة لتوجيه هيكل تسمية الصور، من خلال تقديم مؤشر عما هو بارز وما ليس كذلك، إلا أن البحث لا يزال يواجه صعوبات في دمج هذين التقنيتين. في هذا العمل، نقترح نهجًا لتسمية الصور حيث يمكن لمجموعة شبكات العصبونات المتكررة التركيز على أجزاء مختلفة من الصورة المدخل أثناء إنشاء التسمية، وذلك باستغلال التوجيه الذي توفره نموذج التنبؤ بالبروز حول أي أجزاء من الصورة هي بارزة وأيها سياقية. نوضح من خلال التجارب الكمية والنوعية الواسعة النطاق على مجموعات بيانات كبيرة الحجم أن نموذجنا يحقق أداءً أفضل مقارنة بنماذج الأساس للتسمية مع وجود البروز وعدم وجوده، وكذلك مقارنة بنماذج مختلفة متقدمة تجمع بين البروز والتسمية (saliency and captioning).