الحفاظ على شكل معالم الوجه باستخدام شبكات الرسم البياني الانتباهية

الخوارزميات الرائدة في تقدير المعالم تعتمد على استغلال القدرة الممتازة للشبكات العصبية التلافيفية الكبيرة (CNNs) على تمثيل المظهر المحلي. ومع ذلك، فمن المعروف أنها تستطيع تعلم العلاقات المكانية الضعيفة فقط. لحل هذه المشكلة، نقترح نموذجًا يعتمد على الجمع بين شبكة CNN وسلسلة من مُرجِّحات الشبكة العصبية ذات الاهتمام الرسومي (Graph Attention Network). لهذا الغرض، نقدم ترميزًا يمثل بشكل مشترك مظهر ومكان معالم الوجه، بالإضافة إلى آلية اهتمام لتقييم المعلومات حسب موثوقيتها. يتم دمج هذا مع نهج متعدد المهام لتهيئة موقع عقد الرسم البياني ونظام وصف المعالم من الخشن إلى الدقيق. تؤكد تجاربنا أن النموذج المقترح يتعلم تمثيلًا عالميًا لهيكل الوجه، مما يحقق أداءً رائدًا في مقاييس شائعة لتقدير وضع الرأس والمعالم. تكون التحسينات التي توفرها نموذجنا الأكثر أهمية في الحالات التي تتضمن تغييرات كبيرة في المظهر المحلي للمعالم.