HyperAIHyperAI
منذ 3 أشهر

DiffMesh: إطار تمايز يراعي الحركة لإعادة بناء الشبكة البشرية من الفيديوهات

Ce Zheng, Xianpeng Liu, Qucheng Peng, Tianfu Wu, Pu Wang, Chen Chen
DiffMesh: إطار تمايز يراعي الحركة لإعادة بناء الشبكة البشرية من الفيديوهات
الملخص

تُوفّر استعادة الشبكة البشرية (HMR) معلومات غنية عن الجسم البشري لتطبيقات عالمية حقيقية. وعلى الرغم من التقدّم المذهل الذي أحرزته الطرق القائمة على الصور في هذا المجال، إلا أنها غالبًا ما تواجه صعوبات في استعادة الأشخاص في السيناريوهات الديناميكية، مما يؤدي إلى عدم اتساق زمني وتوقعات غير سلسة لحركة الجسم ثلاثية الأبعاد بسبب غياب حركة الإنسان. في المقابل، تُستخدم الطرق القائمة على الفيديو على المعلومات الزمنية لتقليل هذه المشكلة. في هذه الورقة، نقدّم "DiffMesh"، وهي إطار عمل مبتكر يعتمد على الوعي بالحركة ويُشبه نماذج التشتت (Diffusion) لاستعادة الشبكة البشرية القائمة على الفيديو. يُنشئ DiffMesh جسرًا بين نماذج التشتت والحركة البشرية، ويُنتج تسلسلات شبكيّة دقيقة وسلسة بكفاءة من خلال دمج حركة الإنسان في كل من العملية الأمامية والعكسية داخل نموذج التشتت. أُجريت تجارب واسعة على مجموعات بيانات شائعة الاستخدام (Human3.6M \cite{h36m_pami} و 3DPW \cite{pw3d2018})، والتي أثبتت فعالية وفعالية كفاءة نموذج DiffMesh. كما تُبرز المقارنات البصرية في السياقات الواقعية ملاءمة DiffMesh للتطبيقات العملية.