مقدر ومتعقب الوضع باستخدام خرائط التدفق الزمني للأطراف

لتقدير وضعية الإنسان في مقاطع الفيديو، من المهم للغاية كيفية استخدام المعلومات الزمنية بين الإطارات. في هذا البحث، نقترح خرائط التدفق الزمني للأطراف (TML) وطريقة متعددة الخطوات لتقدير وتتبع وضعيات الإنسان. تتكون الخرائط الزمنية المقترحة للأطراف من متجهات وحدة تصف حركات الأطراف. قمنا ببناء شبكة لتعلم المعلومات المكانية والمعلومات الزمنية بطريقة شاملة. يتم تقدير المعلومات المكانية مثل خرائط الحرارة للمفاصل وحقول الانسجام الجزئي في جزء الشبكة المكاني، بينما يتم تقدير TML في جزء الشبكة الزمني. كما نقترح طريقة توسيع البيانات لتعلم أنواع مختلفة من TML بشكل أفضل. الطريقة المتعددة الخطوات المقترحة تتوسع في البيانات عن طريق اختيار إطارات عشوائية ضمن نطاق محدد. نثبت أن الطريقة المقترحة تقوم بتقدير وتتبع وضعيات الإنسان بكفاءة على مجموعات بيانات PoseTrack 2017 و 2018.