H3WB: مجموعة بيانات ومعيار أداء الجسم البشري ثلاثي الأبعاد من Human3.6M

نقدم معيارًا لتقدير وضعية الجسم البشري بأكمله في ثلاثية الأبعاد، والذي يشمل تحديد نقاط المفتاح الدقيقة في ثلاثية الأبعاد على كامل جسم الإنسان، بما في ذلك الوجه واليدين والجسم والأقدام. حاليًا، ينتج عن نقص مجموعة بيانات دقيقة ومُشَرَّحة بالكامل للجسم البشري في ثلاثية الأبعاد أن الشبكات العميقة يتم تدريبها بشكل منفصل على أجزاء الجسم المحددة، والتي يتم دمجها أثناء الاستدلال. أو أنها تعتمد على البيانات شبه الحقيقية التي توفرها نماذج الجسم المعلمية، والتي ليست دقيقة مثل طرق الكشف. لتجاوز هذه المشكلات، نقدم مجموعة بيانات Human3.6M 3D WholeBody (H3WB)، والتي توفر توضيحات للجسم بأكمله لمجموعة بيانات Human3.6M باستخدام تصميم COCO Wholebody. تتكون H3WB من 133 نقطة مفتاح للجسم بأكمله تم توضيحها على 100 ألف صورة، وهو ما أصبح ممكنًا بفضل خط أنابيب متعدد الآراء الجديد الذي طورناه. كما نقترح ثلاثة مهام: i) رفع وضعية الجسم بأكمله في ثلاثية الأبعاد من وضعية الجسم الكاملة ثنائية الأبعاد، ii) رفع وضعية الجسم بأكمله في ثلاثية الأبعاد من وضعية الجسم غير الكاملة ثنائية الأبعاد، وiii) تقدير وضعية الجسم بأكمله في ثلاثية الأبعاد من صورة واحدة ذات نطاق ألوان أحمر-أخضر-أزرق (RGB). بالإضافة إلى ذلك، نقدم عدة قواعد أساسية من الأساليب الشائعة لهذه المهام. علاوةً على ذلك، نوفر أيضًا توضيحات آلية للجسم بأكمله في ثلاثية الأبعاد لمجموعة بيانات TotalCapture ونظهر تجريبيًا أنه عند استخدامها مع H3WB فإنها تساعد في تحسين الأداء. يمكن الوصول إلى الرمز والمجموعة البيانات عبر الرابط https://github.com/wholebody3d/wholebody3d