ControlCap: كتابة وصف من مستوى المنطقة القابلة للتحكم

تُعدّ مشكلة التصريح بالمنطقة (region-level captioning) تحديًا كبيرًا بسبب مشكلة تدهور التصريحات (caption degeneration)، والتي تشير إلى أن النماذج متعددة الوسائط المُدرَّبة مسبقًا تميل إلى التنبؤ بالتصريحات الأكثر تكرارًا، مع تجاهل التصريحات الأقل تكرارًا. في هذه الدراسة، نقترح منهجية جديدة تُسمى "ControlCap" (التصريح القابل للتحكم على مستوى المنطقة)، والتي تُدخل كلمات تحكم (control words) إلى النموذج متعدد الوسائط لمعالجة مشكلة تدهور التصريحات. وبشكل دقيق، يستخدم ControlCap وحدة تمييزية (discriminative module) لإنشاء كلمات تحكم داخل فضاء التصريحات، بهدف تقسيم هذا الفضاء إلى عدة فضاءات فرعية. ويُحدَّد النموذج متعدد الوسائط لتوليد التصريحات ضمن عدد محدود من الفضاءات الفرعية التي تحتوي على كلمات التحكم، مما يزيد من فرص التصريح بتصريحات أقل تكرارًا، ويُخفّف من حدة مشكلة تدهور التصريحات. علاوةً على ذلك، يمكن إدخال كلمات تحكم تفاعلية إما من قبل إنسان أو من خلال نموذج خبير، ما يتيح التصريحات خارج نطاق التصريحات المستخدمة في التدريب، ويُعزّز قدرة النموذج على التعميم. أظهرت التجارب الواسعة على مجموعتي بيانات Visual Genome وRefCOCOg أن ControlCap يُحسّن على التوالي معيار CIDEr بنسبة 21.6 و2.2، متفوّقًا على أحدث النماذج بفارق ملحوظ. يمكن الوصول إلى الكود عبر الرابط: https://github.com/callsys/ControlCap.