تعداد المشاهد ثلاثية الأبعاد من خلال تعلم التفاعل بين الإنسان والمشهد

يعيش البشر في فضاء ثلاثي الأبعاد ويتفاعلون معه باستمرار لأداء المهام. تتضمن هذه التفاعلات الاتصال الجسدي بين الأسطح الذي يحمل معنىً دلالياً. هدفنا هو تعلم كيفية تفاعل البشر مع المشاهد واستغلال هذا الفهم لتمكين الشخصيات الافتراضية من القيام بنفس الشيء. لهذا الغرض، نقدم نموذجاً جديداً للتفاعل البشري-المكاني (HSI) يرمّز العلاقات القريبة، ونطلق عليه اسم POSA وهو اختصار لـ "الوضعية مع القرب والاتصالات" (Pose with prOximitieS and contActs). تمثيل التفاعل مركزي حول الجسم، مما يمكنه من التعميم إلى مشاهد جديدة. تحديداً، يقوم POSA بتعزيز نموذج الجسم البشري المعلمي SMPL-X بحيث أنه، لكل رأس شبكي (mesh vertex)، يرمّز (أ) احتمالية الاتصال بسطح المشهد و(ب) التسمية الدلالية للمشهد المقابلة. نتعلم POSA باستخدام VAE مشروطة على رؤوس شبكة SMPL-X، ونقوم بالتدريب على مجموعة البيانات PROX التي تحتوي على شبكات SMPL-X للأشخاص الذين يتفاعلون مع مشاهد ثلاثية الأبعاد، وتتضمن أيضاً الدلاليات المكانية للمشاهد من مجموعة البيانات PROX-E. نظهر قيمة POSA من خلال تطبيقاتين. أولاً، نقوم بتوزيع المسح新三維 (3D scans) للأشخاص في المشاهد بشكل آلي. نستخدم نموذج SMPL-X مكيفاً مع المسح كوكيل ثم نجد موقعه الأكثر احتمالاً في الفضاء الثلاثي الأبعاد. توفر POSA تمثيلاً فعالاً للبحث عن "الخصائص الوظيفية" (affordances) في المشهد التي تناسب علاقات الاتصال المحتملة لتلك الوضعية. قمنا بدراستٍ إدراكية تُظهر تحسيناً كبيراً على الحالة المتقدمة في هذا المهمة. ثانياً، نوضح أن تمثيل الجسم-المكان الذي تعلمه POSA يدعم تقدير وضعية الإنسان من صورة واحدة يكون متسقاً مع مشهد ثلاثي الأبعاد، مما يؤدي إلى تحسين الحالة المتقدمة. النموذج والكود متوفرون للأغراض البحثية على الرابط https://posa.is.tue.mpg.de.注：在阿拉伯语中，“新三維”这个词并不合适，我将其替换为“ثلاثي الأبعاد”以保持句子的流畅性和准确性。如果您希望保留“新三維”，请告知我。