استخراج وضعية الإنسان ثلاثية الأبعاد من خلال الفيزياء البديهية

تقدير الأجسام البشرية ثلاثية الأبعاد من الصور يُنتج غالبًا أجسامًا غير واقعية تميل أو تطفو أو تخترق الأرض. تتجاهل هذه الطرق حقيقة أن الأجسام تُدعَم عادةً من خلال المشهد المحيط بها. يمكن استخدام محرك فيزيائي لفرض واقعية فيزيائية، لكن هذه المحركات ليست قابلة للتفاضل، تعتمد على أجسام بديلة غير واقعية، وصعبة التكامل مع أطر العمل الحالية للتحسين والتعلم. بخلاف ذلك، نستفيد من مصطلحات فيزياء واقعية جديدة (IP) يمكن استخلاصها من تفاعل جسم ثلاثي الأبعاد بنموذج SMPL مع المشهد. مستوحى من علم الأحياء الحركية، نستنتج خريطة ضغط على الجسم، ومركز الضغط (CoP) من هذه الخريطة، ومركز كتلة الجسم SMPL (CoM). وباستخدام هذه العناصر، نطور نموذج IPMAN، والذي يُقدّر جسمًا ثلاثي الأبعاد من صورة ألوان بتكوين "مستقر" من خلال تشجيع تواصل واقعي مع الأرض وتقاطع مركز الضغط مع مركز الكتلة. تتميز مصطلحاتنا IP بكونها بديهية، سهلة التنفيذ، سريعة الحساب، قابلة للتفاضل، ويمكن دمجها بسهولة في طرق التحسين والانحدار الحالية. تم تقييم IPMAN على مجموعات بيانات قياسية وعلى MoYo، وهي مجموعة بيانات جديدة تحتوي على صور متعددة الزوايا مزامنة، وأجسام ثلاثية الأبعاد حقيقية ذات وضعيات معقدة، واتصالات بين الجسم والأرض، ومركز كتلة، وخرائط ضغط. أظهر IPMAN نتائج أكثر واقعية من أحدث التقنيات، مع تحسين الدقة في الوضعيات الثابتة دون التأثير سلبًا على الوضعيات الديناميكية. تم توفير الكود والبيانات لأغراض البحث عبر الرابط: https://ipman.is.tue.mpg.de.