الشبكات الرسومية الهرمية مع انتباهات الاتصال للفصل الدلالي الواحد-الصورة القائم على المناطق

يهدف التجزئة الصورية ذات الصورة الواحدة إلى إنجاز مهمة التجزئة لفئة جديدة باستخدام صورة تدريب واحدة فقط. وتكمن الصعوبة في أن التجزئة الصورية تعتمد على تمثيلات بيانات منظمة، مما يؤدي إلى مشكلة تبادل الرسائل من نوع كثير إلى كثير. غالبًا ما تبسيط الطرق السابقة هذه المشكلة إلى مشكلة من نوع واحد إلى كثير من خلال ضغط بيانات الدعم إلى وصف عام. ومع ذلك، فإن التمثيل العام المختلط يؤدي إلى فقدان البنية الهيكلية للمعلومات والبيانات الفردية. في هذا البحث، نقترح نمذجة بيانات التجزئة المنظمة باستخدام الرسوم البيانية، وتطبيق الاستدلال الرسومي الموجه للانتقال لمعلومات التسمية من بيانات الدعم إلى بيانات الاستفسار. يمكن لآلية الانتباه في الرسوم البيانية إقامة تطابق بين العناصر عبر البيانات المنظمة من خلال تعلم أوزان الانتباه بين العقد المتصلة في الرسم البياني. ولالتقاط التطابق على مستويات معنوية مختلفة، نقترح أيضًا بنية شبيهة بالهرم تُمثّل مناطق صورية بمقاييس مختلفة كعقد في الرسم البياني، وتُجري الاستدلال على الرسم البياني على مستويات مختلفة. أظهرت التجارب على مجموعة بيانات PASCAL VOC 2012 أن الشبكة المقترحة تتفوق بشكل كبير على الطريقة الأساسية، وتحقق أداءً جديدًا من أفضل الأداء على معايير التجزئة ذات الصورة الواحدة (1-shot) والخمس صور (5-shot).