CHORE: إعادة بناء الاتصال، والكائن البشري، والجسم من صورة RGB واحدة

تُركّز معظم الدراسات السابقة في استشعار الأشخاص ثلاثيي الأبعاد من الصور على تحليل الإنسان بشكل منفصل دون مراعاة بيئته المحيطة. ومع ذلك، فإن البشر يتفاعلون باستمرار مع الأشياء المحيطة بهم، مما يستدعي تطوير نماذج قادرة على التفكير ليس فقط في الإنسان، بل أيضًا في الأشياء وطبيعة تفاعلاتهما. يُعد هذا التحدي صعبًا جدًا نظرًا لوجود اكتنازات شديدة بين الإنسان والأجسام، وتعدد أنواع التفاعلات، بالإضافة إلى غموض العمق. في هذه الورقة، نقدّم CHORE، طريقة جديدة تتعلم إعادة بناء الإنسان والجسم معًا من صورة RGB واحدة. تستلهم CHORE التقدم الحديث في تعلم الأسطح الضمنية، وتقنيات التكيف القائمة على النماذج الكلاسيكية. نحسب إعادة بناء عصبيًا للإنسان والجسم باستخدام حقلين مسافتين غير موجّهين (unsigned distance fields)، وحقل تقابل مع نموذج جسدي قابل للتعديل، وحقل موضع للجسم ثلاثي الأبعاد. يمكّن هذا التمثيل من تكييف نموذج جسدي قابل للتعديل ونموذج ثلاثي الأبعاد للجسم بشكل موثوق، مع القدرة على استنتاج طبيعة التفاعل بينهما. علاوةً على ذلك، تعتمد الطرق السابقة التي تعتمد على تعلم ضمني مُحاذاة للبكسل على بيانات مُصطنعة، وتُقدّم افتراضات لا تنطبق على البيانات الحقيقية. لذا نقترح طريقة فعّالة للتكيف مع العمق، تسمح بتعلم شكل أكثر كفاءة على البيانات الحقيقية. تُظهر التجارب أن إعادة البناء المشترك، الذي يُتعلم باستخدام الاستراتيجية المقترحة، يتفوّق بشكل ملحوظ على أفضل النماذج الحالية (SOTA). يمكن الاطلاع على الكود والنماذج الخاصة بنا عبر الرابط: https://virtualhumans.mpi-inf.mpg.de/chore