تقدير وضع الأشخاص متعددين بوعي الشكل من صور متعددة الزوايا

في هذه الورقة، نقدّم نهجًا بسيطًا ولكن فعّالًا لتقدير الوضعية ثلاثية الأبعاد لعدة أشخاص من صور متعددة الزوايا. يعتمد النهج المقترح على خط أنابيب من التقدير المبدئي إلى الدقيق، حيث يتم أولًا تجميع الملاحظات ثنائية الأبعاد الضوضائية من عدة زوايا كاميرات في الفضاء ثلاثي الأبعاد، ثم ربطها بفئات فردية باستخدام تقنية تصويت تراعي مستوى الثقة. تُستخلص التقديرات النهائية للوضعية من خلال مخطط تحسين جديد يربط بين الملاحظات ثنائية الأبعاد من عدة زوايا ذات ثقة عالية ومرشحات المفاصل ثلاثية الأبعاد. بالإضافة إلى ذلك، تُستخدم نماذج جسمية معتمدة إحصائيًا، مثل نموذج SMPL، كمُقدّم تقويم (prior) لمرشحات المفاصل ثلاثية الأبعاد. بشكل خاص، يتم تحسين الوضعيات ثلاثية الأبعاد ومتغيرات نموذج SMPL معًا بشكل متسلسل. حيث تساعد النماذج المعتمدة على المعلمة في تصحيح التقديرات ثلاثية الأبعاد غير الواقعية، وملء الفجوات في كشف المفاصل، في حين تُوجه الوضعيات ثلاثية الأبعاد المُحدّثة إلى تحسين تقديرات نموذج SMPL. من خلال ربط الملاحظات ثنائية وثلاثية الأبعاد، يُعدّ هذا الأسلوب دقيقًا وقادرًا على التعميم على مصادر بيانات مختلفة، لأنه يُفصل بشكل أفضل بين الوضعية النهائية ثلاثية الأبعاد والتركيب المكاني بين الأشخاص، ويكون أكثر مقاومة للملاحظات الضوضائية ثنائية الأبعاد. وقد قمنا بتقييم منهجنا بشكل منهجي على مجموعات بيانات عامة، وحققنا أداءً من الطراز الرائد (state-of-the-art). سيتم إتاحة الكود والفيديو على صفحة المشروع: https://ait.ethz.ch/projects/2021/multi-human-pose/.