MUG: شبكة رسمية متعددة الأشخاص لاستعادة الشكل ثلاثي الأبعاد من الوضعية ثنائية الأبعاد

إعادة بناء شبكة الجسم متعددة الأشخاص من صورة مونوكولار واحدة واحدة هي مشكلة مهمة ولكنها صعبة في مجال رؤية الحاسوب. بالإضافة إلى نماذج شبكات الجسم الفردية، نحتاج إلى تقدير المواقع الثلاثية الأبعاد النسبية بين الأشخاص لإنشاء تمثيل متماسك. في هذا العمل، نستخدم شبكة عصبونية رسمية واحدة فقط، تُسمى MUG (شبكة الرسم البياني متعددة الأشخاص)، لإنشاء شبكات متعددة أشخاص متماسكة باستخدام فقط الموضع ثنائي الأبعاد لعدد من الأشخاص كمدخل. مقارنةً بالطرق الحالية التي تعتمد على مسار اكتشاف (أي استخراج ميزات الصورة ثم تحديد حالات الأشخاص واستعادة شبكات الجسم من تلك الميزات)، والتي تعاني من الفجوة الكبيرة بين مجموعات البيانات التدريبية المجمعة في المختبر والبيانات التي تُجمع في البيئات الحقيقية (in-the-wild)، فإن طريقة لدينا تتمتع بفوائد الموضع ثنائي الأبعاد الذي يتمتع بخصائص هندسية نسبية ثابتة عبر مختلف مجموعات البيانات. تعمل طريقة我们的 على النحو التالي: أولاً، لتمثيل البيئة متعددة الأشخاص، تُعالج الموضع ثنائي الأبعاد لعدد من الأشخاص وتُنشئ رسمًا بيانيًا غير متجانسًا جديدًا، حيث تُربط العقد من أشخاص مختلفين ومعًا داخل شخص واحد لالتقاط التفاعلات بين الأشخاص ورسم البنية الهندسية للجسم (أي الهيكل العظمي وبنية الشبكة). ثانيًا، تستخدم بنية شبكة عصبونية رسمية ذات فرعين: فرع واحد يتنبأ بعلاقة العمق بين الأشخاص، والفرع الآخر يتنبأ بتنسيق شبكة الجسم بالنسبة إلى العقدة الجذرية. وأخيرًا، يتم بناء الشبكات ثلاثية الأبعاد لعدد من الأشخاص بالكامل من خلال دمج النتائج من كلا الفرعين. أظهرت التجارب الواسعة أن MUG تتفوق على الطرق السابقة لاستخراج شبكات الجسم متعددة الأشخاص على معايير معيارية لجسم الإنسان ثلاثي الأبعاد – Panoptic و MuPoTS-3D و 3DPW.