HyperAIHyperAI

Command Palette

Search for a command to run...

KnowZRel: استرجاع علاقة صفرية قائمة على المعرفة الواقعية للإ génération المعمم لرسومات المشهد

Edward Curry John G. Breslin M. Jaleed Khan

الملخص

تمثّل مخطط المشهد تمثيلًا أساسيًا للصور في التفكير البصري. إن قابلية التعميم لطرق توليد مخطط المشهد (SGG) أمر بالغ الأهمية لضمان التفكير الموثوق والقابلية التطبيقية في العالم الحقيقي. ومع ذلك، فإن مجموعات التدريب غير المتوازنة تحد من هذه القابلية، حيث تُقلّل من تمثيل العلاقات البصرية ذات المعنى. تواجه الطرق الحالية لـ SGG التي تعتمد على مصادر معرفة خارجية قيودًا ناتجة عن هذه عدم التوازن أو التغطية المحدودة للعلاقات، مما يؤثر سلبًا على قدرتها على التفكير والتمييز العام. نقترح منهجًا جديدًا نيو سيمبوليكيًا يدمج كشف الكائنات القائم على البيانات مع تحسين الكائنات القائم على رسم معرفة متعددة المصادر واسترجاع العلاقات صفرية المعرفة، مع التأكيد على التآزر المترابط بشكل مرن بين المكونات العصبية والرمزية. يُعالج هذا التكامل القيود الناتجة عن مجموعات التدريب غير المتوازنة في توليد مخططات المشهد، ويتيح التنبؤ الفعّال بالعلاقات البصرية غير المرئية. يتم كشف الكائنات باستخدام شبكة عصبية عميقة قائمة على المناطق، ثم يتم تحسينها بناءً على التشابه المكاني والهيكلي، يليه استرجاع العلاقات البصرية الثنائية باستخدام رسم معرفة متعدد المصادر. تُزال العلاقات البصرية الزائدة وغير ذات الصلة بناءً على تشابه تسميات العلاقات وتمثيلات العقد. أخيرًا، تُربط العلاقات البصرية ببعضها البعض لتوليد مخطط المشهد. يجمع رسم المعرفة المتعدد المصادر المستخدم مصادر معرفية متنوعة، مما يوفر معرفة شائعة غنية حول الكائنات وتفاعلاتها في العالم. وقد أظهرت طريقة التقييم باستخدام مجموعة بيانات Visual Genome القياسية ومقاييس الاسترجاع صفر المعرفة (zR@K) تحسنًا بنسبة 59.96% مقارنة بالطرق الحالية الأفضل، مما يبرز فعاليتها في توليد مخططات المشهد العامة. كما أدى خطوة تحسين الكائنات إلى تحسين أداء كشف الكائنات بنسبة 57.1%. وتأكيدًا على قابلية التعميم عبر المجموعات، أجري تقييم إضافي باستخدام مجموعة بيانات GQA. كما قارنا مصادر معرفة مختلفة ونماذج تمثيلات مختلفة لتحديد التجميع الأمثل للطرق المعرفية صفرية المعرفة في SGG. يُمكن الوصول إلى الكود المصدري عبر الرابط: https://github.com/jaleedkhan/zsrr-sgg.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp