خرائط حرارة حجمية مضغوطة لتقدير وضعية 3D متعددة الأشخاص

في هذه الورقة، نقدّم نهجًا جديدًا لتقدير وضعية الإنسان ثلاثية الأبعاد متعددة الأشخاص من صور RGB ذات منظور واحد. نقترح استخدام خرائط حرارة حجمية عالية الدقة لتمثيل مواقع المفاصل، مع تصميم طريقة بسيطة وفعّالة للضغط لتقليل حجم هذا التمثيل بشكل كبير. وتركز الطريقة المقترحة على ما يُعرف بـ "مُشفّر خرائط الحرارة الحجمية" (Volumetric Heatmap Autoencoder)، وهو شبكة تلافيفية كاملة مُكلّفة بضغط خرائط الحرارة الحقيقية إلى تمثيل وسيط كثيف. ثم يتم تدريب نموذج ثانٍ، يُسمى "مُنبّه الرموز" (Code Predictor)، للتنبؤ بهذه الرموز، التي يمكن إعادة ضغطها في وقت الاختبار للحصول على التمثيل الأصلي. تُظهر التقييمات التجريبية أن طريقتنا تؤدي بشكل مُرضٍ مقارنةً بأفضل الطرق الحالية على كلا نوعي مجموعات بيانات تقدير وضعية الإنسان ثلاثية الأبعاد، سواء في الحالات متعددة الأشخاص أو أحادية الشخص، وبفضل استراتيجيتنا الجديدة للضغط، يمكنها معالجة صور بدقة Full-HD بسرعة ثابتة قدرها 8 إطارات في الثانية، بغض النظر عن عدد الأشخاص في المشهد. يمكن الوصول إلى الشفرة والنماذج عبر الرابط: https://github.com/fabbrimatteo/LoCO.