غرافوماني: تحليل صور شمولي من خلال الاستدلال الرسومي والنقل

تم دراسة النماذج المُعدَّة مسبقًا لتحليل الصور في مجالات محددة باستخدام مجموعة محددة من التسميات الدلالية، ولا يمكن تكييفها بسهولة في سياقات أخرى (مثل مشاركة تفاصيل تسميات غير متماثلة) دون إعادة تدريب واسعة النطاق. يُعدّ تعلُّم نموذج تحليل شامل واحد من خلال دمج تسميات من مجالات مختلفة أو على مستويات متنوعة من التفاصيل موضوعًا حاسمًا، لكنه نادرًا ما يُعالج في الأدبيات. ويُطرح هذا التحدي العديد من التحديات الأساسية في التعلُّم، مثل اكتشاف الهياكل الدلالية الكامنة بين مستويات مختلفة من التفاصيل التسموية، أو استخراج العلاقات بين التسميات عبر المهام ذات الصلة. ولحل هذه التحديات، نقترح إطارًا يُسمى "Graphonomy"، يعتمد على التفكير البياني والتعلم المن転، والذي يدمج المعرفة البشرية وتصنيف التسميات في تعلم تمثيلات الرسوم البيانية الوسطى، بما يتجاوز التحويلات المحلية المحدودة بالمحفزات. وبشكل خاص، يتعلم Graphonomy التماسك الدلالي العالمي والمنسق عبر مجالات متعددة من خلال التفكير البياني المُوجَّه بالدلالات والتعلم المن転، مما يضمن المكاسب المتبادلة في التحليل بين المجالات (مثل مجموعات بيانات مختلفة أو مهام مرتبطة). يتضمن Graphonomy وحدتين متكررتين: وحدة التفكير البياني الداخلي (Intra-Graph Reasoning) ووحدة نقل المعرفة بين الرسوم البيانية (Inter-Graph Transfer). حيث تقوم الوحدة الأولى باستخراج الرسم البياني الدلالي في كل مجال لتحسين تعلم تمثيل الميزات من خلال نقل المعلومات عبر الرسم البياني، بينما تستغل الوحدة الثانية الاعتماديات بين الرسوم البيانية من مجالات مختلفة لتمكين نقل المعرفة ثنائي الاتجاه. وقد طبّقنا Graphonomy على موضوعين بحثيين ذوي صلة ولكن مختلفين في مجال فهم الصور: تحليل البشر وتحليل البانوبيك (panoptic segmentation)، وبيّنَّا أن Graphonomy قادر على التعامل مع كليهما بكفاءة من خلال مسار قياسي، متفوّقًا على الطرق الحالية المتميزة. علاوةً على ذلك، أظهرت نتائجنا فوائد إضافية لمنهجنا، مثل إمكانية إنشاء تحليل للبشر على مستويات متعددة من التفاصيل من خلال دمج التسميات من مجموعات بيانات مختلفة.