من العقدة إلى الرسم البياني: استنتاج مشترك على الرسم البياني الارتباطي البصري-الدلالي للكشف عن الصفر

الكشف عن الصور بدون تدريب مسبق (Zero-Shot Detection - ZSD)، الذي يهدف إلى تحديد مواقع وتمييز الكائنات غير المرئية في مشهد معقد، يعتمد عادةً على المعلومات البصرية والمعجمية الخاصة بكل كائن على حدة. ومع ذلك، فإن فهم المشهد من قبل الإنسان لا يقتصر على تمييز الكائنات بشكل منفصل، بل يمتد إلى استغلال المعلومات السياقية بين الكائنات المتعددة، مثل المعلومات المتعلقة بالعلاقة البصرية (مثلاً: الكائنات البصرية المشابهة) والمعلومات المتعلقة بالعلاقة المعجمية (مثلاً: التكرار المشترك). في هذه الورقة، نؤكد أن المعلومات السياقية تلعب دورًا أكثر أهمية في ZSD مقارنة بالكشف التقليدي عن الكائنات. وللاستفادة القصوى من هذه المعلومات، نقترح طريقة جديدة قابلة للتدريب من النهاية إلى النهاية للكشف عن الصور بدون تدريب مسبق، تُسمى شبكة التوافق الرسومي (GRaphAligning Network - GRAN)، تعتمد على نمذجة واستنتاج الرسوم البيانية، وتُراعي بشكل متزامن المعلومات البصرية والمعجمية للكائنات المتعددة، بدلًا من النظر في كل كائن على حدة. بشكل خاص، نُصيغ رسمًا بيانيًا للعلاقة البصرية (Visual Relational Graph - VRG) ورسمًا بيانيًا للعلاقة المعجمية (Semantic Relational Graph - SRG)، حيث تمثل العقد الكائنات في الصورة، وتمثيلات المعاني الفئوية على التوالي، بينما تمثل الحواف الترابط بين العقد في كل رسم بياني. ولتمثيل التأثير المتبادل بين الكائنين (النوعين)، يتم دمج الرسمين البيانيين في رسم بياني متجانس للعلاقة البصرية-المعجمية (Heterogeneous Visual-Semantic Relational Graph - VSRG)، حيث تم تصميم مترجمات للنوعين لتمكين نقل المعلومات بين الأنواع إلى فضاء مشترك للتواصل، كما يتم فرض تبادل الرسائل بين العقد لتحسين تمثيلاتها. أظهرت التجارب الشاملة على مجموعة بيانات MSCOCO الميزة النسبية لطرقنا مقارنة بالأساليب الحالية، كما تشير التحليلات النوعية إلى صحة استخدام المعلومات السياقية.