تقدير وضعية وشكل عدة أشخاص في ثلاثية الأبعاد عبر الكينماتيكا العكسية والتحسين

التقدير ثلاثي الأبعاد للوضعيات والأشكال على شكل شبكات (meshes) من صور RGB أحادية العدسة (monocular) هو تحدي كبير. بوضوح، هو أكثر صعوبة من تقدير الوضعيات ثلاثية الأبعاد فقط على شكل هيكل عظمي (skeletons) أو خرائط الحرارة (heatmaps). عند وجود أشخاص تتفاعل مع بعضها البعض، يصبح إعادة بناء الشبكة ثلاثية الأبعاد أكثر تحديًا بسبب الغموض الناتج عن الإخفاء بين الأشخاص (person-to-person occlusions). لمواجهة هذه التحديات، نقترح خط أنابيب من الخشن إلى الدقيق (coarse-to-fine pipeline) يستفيد من: 1) الكينماتيكا العكسية (inverse kinematics) من تقدير الهيكل العظمي ثلاثي الأبعاد المقاوم للإخفاء، و2) تقنيات التكرار المعتمدة على العلاقات والمبنية على متحولات (Transformer-based relation-aware refinement techniques). في خط أنابيبنا، نحصل أولاً على هيكل عظمي ثلاثي الأبعاد مقاوم للإخفاء لعدة أشخاص من صورة RGB. ثم نطبق الكينماتيكا العكسية لتحويل الهياكل العظمية المقدرة إلى معلمات شبكة ثلاثية الأبعاد قابلة للتغيير. وأخيرًا، نطبق تكرار الشبكة المبني على المتحولات الذي يحسن المعلمات الم��قة للشبكة مع الأخذ في الاعتبار العلاقات داخل الشخص وبين الأشخاص في الشبكات ثلاثية الأبعاد. عبر التجارب الواسعة، نثبت فعالية طريقتنا، حيث تتفوق على أفضل الأساليب الحالية في مجموعات البيانات 3DPW وMuPoTS وAGORA.