HyperAIHyperAI

Command Palette

Search for a command to run...

من العقدة إلى الرسم البياني: استنتاج مشترك على الرسم البياني الارتباطي البصري-الدلالي للكشف عن الصفر

Xilin Chen Ruiping Wang Hui Nie

الملخص

الكشف عن الصور بدون تدريب مسبق (Zero-Shot Detection - ZSD)، الذي يهدف إلى تحديد مواقع وتمييز الكائنات غير المرئية في مشهد معقد، يعتمد عادةً على المعلومات البصرية والمعجمية الخاصة بكل كائن على حدة. ومع ذلك، فإن فهم المشهد من قبل الإنسان لا يقتصر على تمييز الكائنات بشكل منفصل، بل يمتد إلى استغلال المعلومات السياقية بين الكائنات المتعددة، مثل المعلومات المتعلقة بالعلاقة البصرية (مثلاً: الكائنات البصرية المشابهة) والمعلومات المتعلقة بالعلاقة المعجمية (مثلاً: التكرار المشترك). في هذه الورقة، نؤكد أن المعلومات السياقية تلعب دورًا أكثر أهمية في ZSD مقارنة بالكشف التقليدي عن الكائنات. وللاستفادة القصوى من هذه المعلومات، نقترح طريقة جديدة قابلة للتدريب من النهاية إلى النهاية للكشف عن الصور بدون تدريب مسبق، تُسمى شبكة التوافق الرسومي (GRaphAligning Network - GRAN)، تعتمد على نمذجة واستنتاج الرسوم البيانية، وتُراعي بشكل متزامن المعلومات البصرية والمعجمية للكائنات المتعددة، بدلًا من النظر في كل كائن على حدة. بشكل خاص، نُصيغ رسمًا بيانيًا للعلاقة البصرية (Visual Relational Graph - VRG) ورسمًا بيانيًا للعلاقة المعجمية (Semantic Relational Graph - SRG)، حيث تمثل العقد الكائنات في الصورة، وتمثيلات المعاني الفئوية على التوالي، بينما تمثل الحواف الترابط بين العقد في كل رسم بياني. ولتمثيل التأثير المتبادل بين الكائنين (النوعين)، يتم دمج الرسمين البيانيين في رسم بياني متجانس للعلاقة البصرية-المعجمية (Heterogeneous Visual-Semantic Relational Graph - VSRG)، حيث تم تصميم مترجمات للنوعين لتمكين نقل المعلومات بين الأنواع إلى فضاء مشترك للتواصل، كما يتم فرض تبادل الرسائل بين العقد لتحسين تمثيلاتها. أظهرت التجارب الشاملة على مجموعة بيانات MSCOCO الميزة النسبية لطرقنا مقارنة بالأساليب الحالية، كما تشير التحليلات النوعية إلى صحة استخدام المعلومات السياقية.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp