التحليل الدلالي البشري الموجه بالهوية لتحديد الهوية الشخصية

تتطلب الطرق القائمة على المُحاذاة الحالية استخدام نماذج تحليل بشرية مُدرّبة مسبقًا للحصول على مُحاذاة على مستوى البكسل، ولا يمكنها تحديد الممتلكات الشخصية (مثل الحقيبة الخلفية والحقائب الصغيرة) التي تُعدّ حاسمة في مهام إعادة تحديد الأشخاص (person re-ID). في هذه الورقة، نقترح منهجية تحليل دلالي بشري موجهة بالهوية (Identity-Guided Human Semantic Parsing، ISP) لتحديد كل من أجزاء الجسم البشري والمقتنيات الشخصية على مستوى البكسل، وذلك لتمكين إعادة تحديد الأشخاص المُحاذاة باستخدام علامة هوية الشخص فقط. قمنا بتصميم تجميع متسلسل على خرائط الميزات لإنشاء تسميات وهمية لأجزاء الجسم. وبشكل محدد، نقوم أولاً بتصنيف بكسلات جميع الصور الخاصة بشخص ما إلى خلفية أو أمامية، ثم نقوم بتصنيف بكسلات المنطقة الأمامية إلى أجزاء الجسم المختلفة. تُستخدم تعيينات التجميع هذه لاحقًا كتسميات وهمية لأجزاء الجسم، لتقديم دعم تعليمي لتقدير الأجزاء، ويتم تعلم خرائط الميزات وتصنيفها بشكل تكراري عبر ISP. في النهاية، يتم استخلاص الميزات المحلية لأجزاء الجسم البشري والمقتنيات الشخصية بناءً على تقدير الأجزاء المُكتسب ذاتيًا، ويُستخدم فقط الميزات الخاصة بالأجزاء المرئية في عملية الاسترجاع. أظهرت التجارب الواسعة على ثلاث مجموعات بيانات شائعة الاستخدام تفوق ISP على العديد من الطرق المتطورة جدًا. يمكن الوصول إلى الكود الخاص بنا عبر الرابط: https://github.com/CASIA-IVA-Lab/ISP-reID.