التحديد الفعال من حيث المعلمات للشخص في الفضاء ثلاثي الأبعاد

يعيش الناس في عالم ثلاثي الأبعاد. ومع ذلك، فإن الأعمال الحالية المتعلقة بتحديد الهوية البشرية (re-id) تركز في الغالب على تعلم تمثيل دلالي في الفضاء ثنائي الأبعاد، مما يحد بشكل جوهري من فهم الأشخاص. في هذا العمل، نعالج هذه القيود من خلال استكشاف المعرفة السابقة بالهيكل ثلاثي الأبعاد للجسم. وبشكل خاص، نُنَقِّل الصور ثنائية الأبعاد إلى الفضاء ثلاثي الأبعاد، ونُقدِّم شبكة رسمية موحدة فعّالة من الناحية المعلمية (OG-Net) جديدة لتعلم تمثيل المشاة مباشرة من السحابة النقطية ثلاثية الأبعاد. تُوظِّف OG-Net بشكل فعّال المعلومات المحلية المقدمة من النقاط ثلاثية الأبعاد المتباعدة، وتستفيد من المعلومات الهيكلية والمرئية بطريقة متماسكة. وباستخدام معلومات الهندسة ثلاثية الأبعاد، يمكننا تعلُّم نوع جديد من الميزات العميقة لتحديد الهوية البشرية، خالٍ من التغيرات الضوضائية مثل الحجم والمنظور. إلى حد علمنا، نحن من بين أولى المحاولات التي تُجري تحديد الهوية البشرية في الفضاء ثلاثي الأبعاد. ونُظهِر من خلال تجارب واسعة أن الطريقة المقترحة (1) تُخفّف من صعوبة المطابقة في الفضاء ثنائي الأبعاد التقليدي، (2) تستغل المعلومات المكملة بين المظهر ثنائي الأبعاد والهيكل ثلاثي الأبعاد، (3) تحقق نتائج تنافسية باستخدام عدد محدود من المعلمات على أربع مجموعات بيانات كبيرة لتحديد الهوية البشرية، (4) تتمتع بقابلية توسيع جيدة تجاه مجموعات بيانات غير مرئية. تتوفر كودنا، نماذجنا، والبيانات البشرية ثلاثية الأبعاد التي تم إنشاؤها بشكل عام على الرابط التالي: https://github.com/layumi/person-reid-3d.