تعلم تمثيل الرسم البياني المحدد دلالياً للاعتراف بالصور متعددة العلامات

التعرف على تسميات متعددة للصور هو مهمة عملية وصعبة، وقد تم إحراز تقدم كبير من خلال البحث عن مناطق ذات دلالة معنوية (semantic-aware regions) ونمذجة ارتباط التسميات. ومع ذلك، لا تستطيع الطرق الحالية تحديد المناطق ذات الدلالة المعنوية بدقة بسبب نقص الرقابة على المستوى الجزئي أو الإرشاد الدلالي. بالإضافة إلى ذلك، لا يمكنها استكشاف التفاعلات المتبادلة بين المناطق ذات الدلالة المعنوية بشكل كامل ولا تقوم بنمذجة حدوث التسميات معاً بشكل صريح. لمعالجة هذه القضايا، نقترح إطارًا للتعلم بالتمثيل البياني الخاص بالدلالة (Semantic-Specific Graph Representation Learning - SSGRL) يتكون من وحدتين حاسمتين: 1) وحدة فصل الدلالات التي تدمج دلالات الفئات لإرشاد التعلم للتمثيلات الخاصة بالدلالة، و2) وحدة التفاعل الدلالي التي تربط هذه التمثيلات ببيان يُبنى على حدوث التسميات معاً إحصائيًا ويستكشف تفاعلاتهم عبر آلية انتشار البيان (graph propagation mechanism). أظهرت التجارب الواسعة على مقاييس عامة أن إطاراتنا SSGRL تتفوق على أفضل الطرق الحالية بمقدار كبير، مثل تحسين mAP بنسبة 2.5٪، 2.6٪، 6.7٪ و3.1٪ في مقاييس PASCAL VOC 2007 & 2012، Microsoft-COCO وVisual Genome على التوالي. رموز البرمجيات والنموذج لدينا متاحة في https://github.com/HCPLab-SYSU/SSGRL.