استغلال السياق الزمني لتقدير وضعية الجسم البشري ثلاثية الأبعاد في البيئة الحقيقية

نقدم خوارزمية تعتمد على التحديد المُرَكّب (bundle adjustment) لاستعادة الوضع البشري ثلاثي الأبعاد والشبكات من مقاطع الفيديو الأحادية العدسة. على عكس الخوارزميات السابقة التي تعمل على الإطارات المنفردة، نوضح أن إعادة بناء شخص عبر سلسلة كاملة من الإطارات توفر قيودًا إضافية يمكنها حل الغموض. هذا لأن الفيديوهات غالبًا ما تقدم وجهات نظر متعددة للشخص، ومع ذلك لا تتغير الشكل الجسدي الكلي ويتغير الموقع ثلاثي الأبعاد ببطء. طريقتنا تحسن ليس فقط في مجموعات البيانات التقليدية المستندة إلى التقاط الحركة مثل Human 3.6M -- حيث نظهر التحسينات الكمية -- ولكن أيضًا في مجموعات البيانات الصعبة في البيئة الطبيعية مثل Kinetics. اعتمادًا على خوارزميتنا، نقدم مجموعة بيانات جديدة تتضمن أكثر من 3 ملايين إطار من مقاطع الفيديو على يوتيوب من Kinetics مع أوضاع ومeshes ثلاثية الأبعاد تم توليدها تلقائيًا. نوضح أن إعادة تدريب مقدر الوضع ثلاثي الأبعاد للأطر المنفردة على هذه البيانات يحسن الدقة في كل من البيانات الواقعية والبيانات المستندة إلى التقاط الحركة من خلال تقييمها على مجموعات البيانات 3DPW وHumanEVA.