تقدير وضع الأشخاص متعددين في 3D باستخدام صور متعددة الزوايا بناءً على الرسم البياني

يدرس هذا البحث مهمة تقدير وضعيات البشر الثلاثية الأبعاد لعدة أشخاص من خلال عدة مناظر مُعدّلة مسبقًا. واتباعًا للنمط العلوي-السفلي (top-down)، نقوم بتفكيك المهمة إلى مرحلتين: تحديد موقع الشخص وتقدير الوضعية. وتنفذ كلا المرحلتين بطريقة من الخشن إلى الدقيق. ونقترح ثلاث شبكات عصبية رسومية مخصصة للمهمة لتحقيق تبادل فعّال للمعلومات. بالنسبة لتحديد موقع الإنسان ثلاثي الأبعاد، نستخدم أولاً وحدة الرسم البياني للتطابق متعدد المناظر (MMG) لتعلم الارتباط بين المناظر المختلفة واستعادة مقترحات الإنسان الأولية الخشنة. ثم تقوم وحدة الرسم البياني لتحسين المركز (CRG) بتحسين النتائج بشكل أكبر من خلال تنبؤ مرن مبني على النقاط. أما بالنسبة لتقدير الوضعية ثلاثية الأبعاد، فإن وحدة الرسم البياني لاسترجاع الوضعية (PRG) تتعلم كلًا من الهندسة متعددة المناظر والعلاقات البنائية بين مفاصل الجسم البشري. ويحقق هذا النهج أداءً متقدمًا جدًا على مجموعتي بيانات CMU Panoptic وShelf، مع تقليل كبير في التعقيد الحسابي.