بتحسين التقدير ثلاثي الأبعاد لوضع الإنسان في الإطار الواحد من خلال مقاطع الفيديو المفردة

مبدأ تدريب شبكة دقيقة لتقدير وضعية الإنسان ثلاثية الأبعاد يكمن في امتلاك كمية كبيرة من بيانات التدريب الغنية بالتعليقات التوضيحية. ومع ذلك، فإن الحصول يدويًا على تعليقات غنية ودقيقة، وإن لم يكن مستحيلًا، فإنه يتسم بالتعقيد والبطء. في هذه الورقة، نقترح استغلال مقاطع الفيديو ذات المنظور الواحد لتعزيز مجموعة بيانات التدريب المخصصة لمهام تقدير وضعية الإنسان ثلاثية الأبعاد من صورة واحدة. في البداية، يتم تدريب نموذج أساسي باستخدام مجموعة صغيرة من التعليقات التوضيحية. وبثبات بعض التقديرات الموثوقة الناتجة عن النموذج، تقوم طريقةنا بجمع التعليقات تلقائيًا عبر مقطع الفيديو كحل لمشكلة استكمال المسار الثلاثي الأبعاد. ثم يتم تدريب النموذج الأساسي بشكل إضافي باستخدام التعليقات المجمعة لتعلم وضعيات جديدة. وقد تم تقييم طريقتنا على مجموعتي بيانات Human3.6M وMPI-INF-3DHP اللتين تُستخدمان على نطاق واسع. وكما يُظهر التجريبي، وباعتماد مجموعة صغيرة جدًا من التعليقات، نجحت طريقتنا في تمكين النموذج من تعلّم وضعيات جديدة من مقاطع الفيديو غير المُعلَّمة ذات المنظور الواحد، مما يُحسّن دقة النموذج الأساسي بنسبة تصل إلى 10٪ تقريبًا. وبالمقارنة مع الأساليب السابقة، لا تعتمد طريقتنا على صور متعددة الزوايا أو أي تعليقات توضيحية ثنائية الأبعاد صريحة.