تقدير وضعية وشكل جسم الإنسان ثلاثي الأبعاد المُدمج زمنيًا في البث الحي

يمكن أن يكون تقدير وضعية وشكل الجسم البشري ثلاثي الأبعاد ضمن تسلسل زمني أمرًا بالغ الأهمية لفهم سلوك الإنسان. وعلى الرغم من التقدم الكبير في تقدير وضعية الإنسان في السنوات الأخيرة، والتي تعتمد غالبًا على صور أو مقاطع فيديو واحدة، إلا أن تقدير حركة الإنسان في مقاطع الفيديو الحية لا يزال مجالًا نادرًا ما يُستكشف، نظرًا لمتطلباته الخاصة بالإخراج في الوقت الفعلي والاتساق الزمني. ولحل هذه المشكلة، نقدم طريقة مُسمّاة "TePose" (تقدير وضعية وشكل الجسم البشري ثلاثي الأبعاد المُدمج زمنيًا)، والتي تهدف إلى تحسين دقة تقدير الوضعية والاتساق الزمني في مقاطع الفيديو الحية. تعتمد TePose على التنبؤات السابقة كجسر لاسترجاع الأخطاء، مما يُحسّن التقدير في الإطار الحالي، ويساعد في تعلم العلاقة بين الإطارات الزمنية والتنبؤات السابقة. كما نُقدّم شبكة توليفية رياضية-زمنية متعددة المقاييس كمُميّز للحركة، تُستخدم في التدريب المُتداخل (adversarial training) باستخدام مجموعات بيانات دون أي تسميات ثلاثية الأبعاد. ونُقترح استراتيجية تحميل بيانات تسلسلية لتلبية متطلبات معالجة البيانات من البداية إلى النهاية المميزة لمقاطع الفيديو الحية. ونُظهر أهمية كل وحدة مقترحة من خلال تجارب واسعة النطاق. وتُظهر النتائج فعالية TePose على معايير تقدير الوضعية البشرية الشائعة، مع تحقيق أداءً من الطراز الرائد في مجاله.