DualVD: نموذج تشفير مزدوج تكيفي للفهم البصري العميق في المحادثة البصرية
على عكس مهمة الإجابة على الأسئلة المرئية التي تتطلب الإجابة على سؤال واحد فقط حول صورة، فإن المحادثة المرئية تتضمن عدة أسئلة تغطي طيفًا واسعًا من المحتوى المرئي، والذي قد يرتبط بأي كائنات أو علاقات أو معاني. وعليه، فإن التحدي الرئيسي في مهمة المحادثة المرئية هو تعلم تمثيل صورة أكثر شمولاً وغنىً من الناحية الدلالية، قادر على تطبيق انتباه متكيف مع الصورة حسب طبيعة الأسئلة المختلفة. في هذا البحث، نقترح نموذجًا جديدًا لتمثيل الصورة من زاويتين: مرئية ودلالية. بشكل خاص، تساعد الزاوية المرئية على التقاط المعلومات على مستوى المظهر، بما في ذلك الكائنات والعلاقات بينها، بينما تمكن الزاوية الدلالية الوكيل من فهم الدلالات البصرية عالية المستوى، بدءًا من الصورة ككل وحتى المناطق المحلية. علاوة على ذلك، بناءً على هذه السمات متعددة الزوايا للصورة، نقترح إطارًا لاختيار السمات قادر على التقاط المعلومات ذات الصلة بالسؤال بشكل تكيفي، بطريقة هرمية وعلى مستوى دقيق. وقد حقق النهج المقترح نتائج متميزة على مجموعات بيانات معيارية للمحادثة المرئية. وأهم ما يميز هذا العمل هو إمكانية تحديد أي من الوسائط (المرئية أو الدلالية) تُسهم أكثر في الإجابة على السؤال الحالي من خلال تصور قيم البوابات (gate values)، مما يوفر رؤى قيمة لفهم عملية التفكير البشري في المحادثة المرئية.