الاستدلال على الاتجاه المكاني-الزمني لتقدير وضعية وشكل جسم الإنسان من مقاطع الفيديو

في هذه الورقة، نقدم شبكة استنتاج الاتجاه المكاني-الزمني (STR) لإعادة بناء وضعية وشكل الجسم البشري من مقاطع الفيديو. ركزت الطرق السابقة على كيفية توسيع مجموعات بيانات الإنسان ثلاثية الأبعاد والتعلم القائم على الزمن لتعزيز الدقة وتنعيم التسلسل الزمني. على عكس هذه الطرق، يهدف نموذجنا STR إلى تعلُّم تسلسلات حركية دقيقة وطبيعية في بيئة غير مُحدَّدة من خلال استنتاج الاتجاهات المكانية والزمنية، وتكثيف استغلال الخصائص المكانية-الزمنية المتوفرة في بيانات الفيديو الحالية. من أجل تحقيق ذلك، يتعلم نموذج STR تمثيل الخصائص في البعدين الزمني والمكاني بشكل منفصل، بهدف التركيز على تمثيل أكثر قوة للخصائص المكانية-الزمنية. وبشكل أكثر تحديدًا، ولتحقيق نمذجة زمنية فعّالة، نقترح أولًا وحدة استنتاج الاتجاه الزمني (TTR). تُنشئ وحدة TTR تمثيلًا متعدد المستويات من الاتصالات المتبقية في البعد الزمني ضمن تسلسل الفيديو، مما يُمكّن من استنتاج اتجاهات التسلسل الزمني بكفاءة والحفاظ على انتشار المعلومات البشرية الفعّالة. وفي الوقت نفسه، لتعزيز التمثيل المكاني، صممنا وحدة تعزيز الاتجاه المكاني (STE) لاستخلاص مزيد من الحساسية تجاه الخصائص في مجال التردد المكاني-الزمني ضمن تمثيلات حركة الإنسان. وأخيرًا، نقدّم استراتيجيات دمج لدمج وتحسين تمثيلات الخصائص المكانية-الزمنية. أظهرت النتائج التجريبية الواسعة على مجموعات بيانات عامة كبيرة الحجم أن نموذج STR يظل منافسًا للحالة المتطورة في ثلاث مجموعات بيانات. تُتاح كودنا عبر الرابط التالي: https://github.com/Changboyang/STR.git.