كشف العلاقات البصرية باستخدام التصنيف الهيكلي العميق

يهدف الكشف عن العلاقات البصرية إلى وصف التفاعلات بين أزواج من الكائنات. على عكس مهام تعلم الكائنات الفردية، فإن عدد العلاقات الممكنة يكون أكبر بكثير، مما يجعل من الصعب استكشافها بناءً فقط على المظهر البصري للكائنات. بالإضافة إلى ذلك، وبسبب القيود المفروضة على الجهد البشري، تكون التسميات الخاصة بالعلاقات البصرية غالبًا غير كاملة، ما يزيد من صعوبة تدريب النموذج وتقييمه. في هذه الورقة، نقترح إطارًا جديدًا يُسمى "الترتيب الهيكلي العميق" (Deep Structural Ranking) للكشف عن العلاقات البصرية. ولتعزيز قدرة التمثيل الناتجة عن المظهر البصري، ندمج عدة مؤشرات لتنبؤ العلاقات الموجودة في الصورة المدخلة. علاوةً على ذلك، نصمم دالة هدف جديدة قائمة على الترتيب، بفرض أن العلاقات المُعلّمة يجب أن تحصل على درجات ترابط أعلى. على عكس الدراسات السابقة، يمكن لطريقتنا المقترحة أن تُسهّل التواجد المشترك للعلاقات وتُخفف من مشكلة عدم الكمال في التسميات. تُظهر النتائج التجريبية أن طريقةنا المقترحة تتفوّق على أفضل النماذج الحالية على مجموعتي بيانات شائعتين. كما نُظهر تفوقها في الكشف عن علاقات "صفرية" (zero-shot)، أي علاقات لم تُرَ أو تُسمّى في بيانات التدريب.