تقدير وضع الإنسان ثلاثي الأبعاد باستخدام الشبكات الفضائية الزمنية مع تدريب ضمني للإغلاق

تقدير الوضعية الثلاثية الأبعاد من فيديو بمنظر واحد لا يزال يُعد مهمة صعبة، على الرغم من التقدم الكبير الذي تم تحقيقه في السنوات الأخيرة. بشكل عام، تنخفض أداء الطرق الحالية عندما يكون الشخص المستهدف صغيرًا جدًا أو كبيرًا جدًا، أو عندما تكون حركته سريعة جدًا أو بطيئة جدًا مقارنةً بمقياس وسرعة بيانات التدريب. علاوةً على ذلك، وبما أننا نعلم أن العديد من هذه الطرق لم تُصمم أو تُدرَّس صراحةً تحت ظروف احتشاء شديد، فإن أداؤها في التعامل مع الاحتشاء يكون محدودًا. لمعالجة هذه المشكلات، نقدّم شبكة فضائية زمنية لتقدير موضع الإنسان ثلاثي الأبعاد بشكل موثوق. نظرًا لأن البشر في الفيديوهات قد يظهرون بمقياس مختلف وسرعة حركة متعددة، نطبّق ميزات فضائية متعددة المقاييس لتنبؤ مواقع المفاصل أو النقاط المميزة ثنائية الأبعاد في كل إطار على حدة، بالإضافة إلى استخدام شبكات تلافيفية زمنية متعددة المدى (TCNs) لتقدير المفاصل أو النقاط المميزة ثلاثية الأبعاد. علاوةً على ذلك، قمنا بتصميم مُميّز فضائي زماني يعتمد على الهياكل الجسدية وحركات الأطراف لتقييم ما إذا كانت الوضعية المتنبأ بها صحيحة وحركة متنبأ بها مقبولة. أثناء التدريب، نقوم بتأميم بعض النقاط المميزة بشكل صريح لمحاكاة حالات احتشاء مختلفة، من البسيطة إلى الشديدة، بحيث يمكن للشبكة أن تتعلم بشكل أفضل وتكون أكثر مقاومة لمختلف درجات الاحتشاء. وبما أن بيانات الحقيقة الحقيقية ثلاثية الأبعاد محدودة، نستخدم أيضًا بيانات فيديو ثنائية الأبعاد لتمكين شبكتنا من القدرة على التعلم شبه المُراقب. تُظهر التجارب على مجموعات بيانات عامة فعالية طريقة العمل، كما تُظهر دراسات التحليل المنهجي قوة الوحدات الفرعية الفردية في شبكتنا.