SMAP: تقدير الوضعية ثلاثية الأبعاد المطلقة لعدة أشخاص في تصوير واحد

استعادة الأوضاع ثلاثية الأبعاد لعدة أشخاص مع المقاييس المطلقة من صورة واحدة باللون والضوء (RGB) هي مشكلة صعبة بسبب الغموض المتأصل في العمق والمقاييس من زاوية واحدة. ومعالجة هذا الغموض تتطلب جمع مجموعة متنوعة من الإشارات على مدى الصورة بأكملها، مثل أحجام الأجسام، تخطيطات المشهد، والعلاقات بين الأشخاص. ومع ذلك، فإن معظم الطرق السابقة تتبنى مخططًا رأسيًا يبدأ بتحديد وضع الجسم ثنائي الأبعاد ثم يستنتج وضع الجسم ومقاييسه ثلاثية الأبعاد لكل شخص تم اكتشافه بشكل فردي، مما يتجاهل الإشارات السياقية العالمية. في هذه الورقة البحثية، نقترح نظامًا جديدًا يقوم أولًا باستنتاج مجموعة من التمثيلات ثنائية ونصف الأبعاد (2.5D) لأجزاء الجسم ثم إعادة بناء الأوضاع ثلاثية الأبعاد المطلقة بناءً على هذه التمثيلات ثنائية ونصف الأبعاد باستخدام خوارزمية ترابط أجزاء الجسم التي تدرك العمق. يسمح هذا النظام الفوري القائم على الأسفل للأعلى للنظام بتعلم أفضل واستدلال أفضل عن العلاقة العميقة بين الأشخاص، مما يحسن تقدير وضع الجسم ثلاثي الأبعاد وثنائي الأبعاد. تظهر التجارب أن النهج المقترح يحقق أداءً رائدًا في مجاله على مجموعتي بيانات CMU Panoptic و MuPoTS-3D وأنه قابل للتطبيق على مقاطع الفيديو الحرة (in-the-wild).