إعادة بناء متماسكة لعدة أشخاص من صورة واحدة

في هذا العمل، نتناول مشكلة تقدير الوضع ثلاثي الأبعاد لعدة أشخاص من صورة واحدة. في الإعداد الرأسي العلوي (top-down) لهذه المشكلة، النهج الشائع للانحدار يكتشف أولاً جميع الأشخاص ثم يقوم بإعادة بناء كل منهم بشكل مستقل. ومع ذلك، فإن هذا النوع من التنبؤ يعاني من نتائج غير متناسقة، مثل الاختراق المتبادل وعدم اتساق ترتيب العمق بين الأشخاص في المشهد. هدفنا هو تدريب شبكة واحدة تتعلم تجنب هذه المشكلات وتوليد إعادة بناء ثلاثية الأبعاد متناسقة لجميع الأشخاص في المشهد. لتحقيق هذا الهدف، اختيار تصميم حاسم هو دمج نموذج الجسم المعلمي SMPL في إطارنا الرأسي العلوي، مما يتيح استخدام خسارةين جديدتين. الأولى هي خسارة التصادم المستندة إلى مجال المسافة (distance field-based collision loss)، والتي تعاقب على الاختراق المتبادل بين الأشخاص الذين تم إعادة بنائهم. الثانية هي خسارة واعية بترتيب العمق (depth ordering-aware loss)، التي تفكر في الإخفاءات وتُروِّج لترتيب عمق للأفراد يؤدي إلى رسم بياني متوافق مع التجزئة المرتبطة بالمشهد. هذا يوفر إشارات إشراف عمق للشبكة حتى لو لم تحتوي الصورة على شروحات ثلاثية أبعاد صريحة. تظهر التجارب أن نهجنا يتفوق على الأساليب السابقة في مقاييس الوضع ثلاثي الأبعاد القياسية، بينما الخسائر المقترحة لدينا تمكن من إعادة بناء أكثر تناسقاً في الصور الطبيعية. يمكن العثور على موقع المشروع مع الفيديوهات والنتائج والكود على الرابط التالي:https://jiangwenpl.github.io/multiperson