تقدير الوضع الثلاثي الأبعاد لعدة أشخاص بطرق متعددة باستخدام الرؤية المسطحة للستيريو

تُعد الطرق الحالية لتقدير الوضع الثلاثي الأبعاد لعدة أشخاص من منظورات متعددة، التي تُحدد بشكل صريح تطابقات بين المنظورات المختلفة لدمج كشفات الوضع ثنائي الأبعاد من عدة كاميرات وحل مشكلة تقدير الوضع الثلاثي لكل شخص، تواجه صعوبات كبيرة في السيناريوهات التي تشمل عدة أشخاص، حيث يؤدي تطابق غير دقيق إلى أداء غير مثالي في النموذج متعدد المراحل. في هذه الدراسة، نقدّم منهجيتنا لتقدير الوضع الثلاثي من منظورات متعددة تعتمد على تقنية استريو التبديل المسطح (plane sweep stereo)، بهدف معالجة مسألة دمج البيانات من منظورات متعددة وإعادة بناء الوضع الثلاثي في عملية واحدة. بشكل خاص، نقترح إجراء استرجاع العمق (depth regression) لكل مفصل من مفاصل كل وضع ثنائي الأبعاد في منظور الكاميرا المستهدف. وتُفرض قيود التماسك بين المنظورات بشكل ضمني عبر عدة منظورات مرجعية باستخدام خوارزمية التبديل المسطح، مما يسهل استرجاع العمق بدقة. ونستخدم نموذجًا تدريجيًا من الخشنة إلى الدقيقة، يبدأ بتحديث عمق الشخص ككل، ثم ينتقل إلى تقدير عمق كل مفصل بالنسبة لكل شخص. ويتم الحصول على الوضع الثلاثي من خلال عملية بسيطة لتحويل العمق المقدر إلى الفضاء الثلاثي. وقد تم تقييم منهجيتنا على مجموعات بيانات معيارية، حيث تفوقت على أحدث النماذج السابقة مع الحفاظ على كفاءة ملحوظة. يُمكن الوصول إلى الكود الخاص بنا عبر الرابط: https://github.com/jiahaoLjh/PlaneSweepPose.