تصنيع عينات معاكسة لتحسين الإجابة البصرية المقاومة

رغم التقدم الملموس الذي أحرزه نموذج التساؤل البصري (VQA) خلال السنوات القليلة الماضية، فإن النماذج الحالية لـ VQA تميل إلى استخلاص ارتباطات لغوية سطحية في مجموعة التدريب، وتفشل في التعميم على مجموعة الاختبار التي تختلف في توزيع الأسئلة والأجوبة. ولتقليل التحيزات اللغوية، قدمت عدة أعمال حديثة نموذجًا مساعدًا يعتمد فقط على الأسئلة (question-only model) لتنظيم عملية تدريب النموذج المستهدف لـ VQA، وحققت أداءً متفوقًا في معيار VQA-CP. ومع ذلك، نظرًا لتعقيد التصميم، لا تزال الطرق الحالية غير قادرة على تزويد النماذج القائمة على التجميع (ensemble-based models) بخصائصين ضروريين لنموذج VQA مثالي: 1) التفسير البصري (visual-explainable): يجب أن يعتمد النموذج على مناطق بصرية صحيحة عند اتخاذ القرار. 2) الحساسية للسؤال (question-sensitive): يجب أن يكون النموذج حساسًا للتغيرات اللغوية في السؤال. ولتحقيق هذا الهدف، نقترح خطة تدريب تُسمى "توليد عينات وهمية (Counterfactual Samples Synthesizing - CSS)"، وهي خطة لا تعتمد على نموذج معين. تقوم CSS بإنشاء عدد كبير من العينات التدريبية الوهمية عن طريق إخفاء الكائنات الحاسمة في الصور أو الكلمات في الأسئلة، وتعيين إجابات صحيحة مختلفة لكل منها. وبعد تدريب النموذج باستخدام العينات المكملة (أي العينات الأصلية والعينات المولدة)، يُجبر النموذج على التركيز على جميع الكائنات والكلمات الحاسمة، مما يُحسّن بشكل كبير قدرته على التفسير البصري والحساسية للسؤال. وفي المقابل، يرتفع أداء هذه النماذج بشكل ملحوظ. أظهرت التحليلات الواسعة فعالية CSS. وبشكل خاص، من خلال بناء نموذج مبني على نموذج LMH، تحققت أداءً قياسيًا بنسبة 58.95% في معيار VQA-CP v2، بزيادة قدرها 6.5%.