شبكة التوجيه المضمنة بالمعرفة لتكوين الرسم البياني للمشهد

فهم المشهد بشكل عميق لا يقتصر فقط على تحديد وتعرف الأشياء الفردية، بل يتطلب أيضًا استنتاج العلاقات والتفاعلات بينها. ومع ذلك، نظرًا لتوزيع العلاقات في العالم الحقيقي بشكل غير متوازن بشكل خطير، فإن الأساليب الحالية تؤدي أداءً ضعيفًا للغاية بالنسبة للعلاقات الأقل تكرارًا. في هذا البحث، وجدنا أن الارتباطات الإحصائية بين أزواج الأشياء والعلاقات التي تربطها يمكن أن تنظم المساحة الدلالية بفعالية وتقلل من الغموض في التنبؤ، وبالتالي تعالج مشكلة التوزيع غير المتوازن بشكل جيد. لتحقيق هذا الهدف، قمنا بدمج هذه الارتباطات الإحصائية في الشبكات العصبية العميقة لتسهيل إنشاء الرسم البياني للمشهد من خلال تطوير شبكة توجيه مدمجة بالمعرفة (Knowledge-Embedded Routing Network). وبشكل أكثر تحديدًا، أظهرنا أن الارتباطات الإحصائية بين الأشياء التي تظهر في الصور والعلاقات التي تربطها يمكن تمثيلها بشكل صريح بواسطة رسم بياني للمعرفة منظم، ويتم تعلم آلية التوجيه لنشر الرسائل عبر الرسم البياني لاستكشاف هذه التفاعلات. أثبتت التجارب الواسعة النطاق على مجموعة بيانات Visual Genome الكبيرة فائقة الحجم تفوق الطريقة المقترحة على المنافسين الحاليين الذين يعتبرون الأكثر تقدمًا في هذا المجال.