RefineCap: تحسين مُدرك للمفاهيم للوصف التصويري

يُعدّ الترجمة التلقائية للصور إلى نصوص مُشتملة على فهم مشهد الصورة ونمذجة اللغة. في هذه الورقة، نقترح نموذجًا جديدًا يُسمى RefineCap، يُحسّن قاموس المخرجات الخاص بمُفكّك اللغة باستخدام معنى بصري مُوجه بواسطة المُفكّك، ويتعلّم بشكل ضمني العلاقة بين الكلمات المفتاحية البصرية والصور. يمكن لطريقة التحسين المفاهيمي البصري (Visual-Concept Refinement) أن تُمكّن المُولّد من التركيز على التفاصيل الدلالية في الصورة، وبالتالي إنتاج عناوين أكثر وصفًا دلاليًا. وقد حقق نموذجنا أداءً متفوّقًا على مجموعة بيانات MS-COCO مقارنةً بالنماذج السابقة القائمة على المفاهيم البصرية.