كشف المعالم الهيكلية عبر التعلم العميق للرسم البياني المتكيف مع التركيب

تهدف الكشف عن النقاط المرجعية في الصور إلى تحديد مواقع نقاط مرجعية محددة مسبقًا بشكل تلقائي. وعلى الرغم من النجاحات الحديثة في هذا المجال، لم يتم استغلال نماذج البنية التحتية ذات الرتبة الأعلى لالتقاط العلاقات الضمنية أو الصريحة بين النقاط المرجعية التشريحية بشكل كافٍ. في هذا العمل، نقدّم منهجًا جديدًا لتعلم الرسوم البيانية العميقة المتكيفة مع البنية (topology-adapting deep graph learning) للكشف الدقيق عن النقاط المرجعية التشريحية في الوجه والطب (مثل اليد والحوض). يُنشئ المنهج المقترح إشارات رسومية مستندة إلى ميزات الصورة المحلية وميزات الشكل العالمية معًا. وتستكشف البنية الرسومية المتكيفة بشكل طبيعي الهياكل المخصصة للمهمة، والتي تُتعلّم بشكل متكامل (end-to-end) باستخدام شبكة تلافيفية رسومية (Graph Convolutional Networks - GCNs) متعددة. أُجريت تجارب واسعة على ثلاث مجموعات بيانات صور وجه عامة (WFLW، 300W، وCOFW-68) فضلًا عن ثلاث مجموعات بيانات طبية بالأشعة السينية الواقعية (التصوير القحفية - Cephalometric، واليد، والحوض). أظهرت النتائج الكمية مقارنةً بالأساليب المتطورة السابقة على جميع مجموعات البيانات المدروسة تفوق الأداء من حيث الموثوقية والدقة. كما أظهرت التصويرات النوعية للهياكل الرسومية المُتعلّمة اتصالات منطقية فيزيائية تكمن وراء النقاط المرجعية.