HyperAIHyperAI

Command Palette

Search for a command to run...

تصنيع عينات معاكسة لتحسين الإجابة البصرية المقاومة

Long Chen Xin Yan Jun Xiao Hanwang Zhang Shiliang Pu Yueting Zhuang

الملخص

رغم التقدم الملموس الذي أحرزه نموذج التساؤل البصري (VQA) خلال السنوات القليلة الماضية، فإن النماذج الحالية لـ VQA تميل إلى استخلاص ارتباطات لغوية سطحية في مجموعة التدريب، وتفشل في التعميم على مجموعة الاختبار التي تختلف في توزيع الأسئلة والأجوبة. ولتقليل التحيزات اللغوية، قدمت عدة أعمال حديثة نموذجًا مساعدًا يعتمد فقط على الأسئلة (question-only model) لتنظيم عملية تدريب النموذج المستهدف لـ VQA، وحققت أداءً متفوقًا في معيار VQA-CP. ومع ذلك، نظرًا لتعقيد التصميم، لا تزال الطرق الحالية غير قادرة على تزويد النماذج القائمة على التجميع (ensemble-based models) بخصائصين ضروريين لنموذج VQA مثالي: 1) التفسير البصري (visual-explainable): يجب أن يعتمد النموذج على مناطق بصرية صحيحة عند اتخاذ القرار. 2) الحساسية للسؤال (question-sensitive): يجب أن يكون النموذج حساسًا للتغيرات اللغوية في السؤال. ولتحقيق هذا الهدف، نقترح خطة تدريب تُسمى "توليد عينات وهمية (Counterfactual Samples Synthesizing - CSS)"، وهي خطة لا تعتمد على نموذج معين. تقوم CSS بإنشاء عدد كبير من العينات التدريبية الوهمية عن طريق إخفاء الكائنات الحاسمة في الصور أو الكلمات في الأسئلة، وتعيين إجابات صحيحة مختلفة لكل منها. وبعد تدريب النموذج باستخدام العينات المكملة (أي العينات الأصلية والعينات المولدة)، يُجبر النموذج على التركيز على جميع الكائنات والكلمات الحاسمة، مما يُحسّن بشكل كبير قدرته على التفسير البصري والحساسية للسؤال. وفي المقابل، يرتفع أداء هذه النماذج بشكل ملحوظ. أظهرت التحليلات الواسعة فعالية CSS. وبشكل خاص، من خلال بناء نموذج مبني على نموذج LMH، تحققت أداءً قياسيًا بنسبة 58.95% في معيار VQA-CP v2، بزيادة قدرها 6.5%.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp