رفع الأحداث ذات العدسة الواحدة إلى وضعيات بشرية ثلاثية الأبعاد

يقدم هذا البحث منهجية جديدة لتقدير الوضعية ثلاثية الأبعاد للإنسان باستخدام تدفق واحد من الأحداث غير المتزامنة كمدخل. في الغالب، تحل الطرق الرائدة في المجال هذه المهمة باستخدام كاميرات RGB، لكنها تواجه صعوبات عند حركة الأشخاص بسرعة. من ناحية أخرى، يُعد تقدير الوضعية ثلاثية الأبعاد بناءً على الأحداث مفيدًا بفضل مزايا كاميرات الأحداث، خاصة الكفاءة والمتانة تجاه التغيرات في المظهر. ومع ذلك، فإن تحديد وضعيات البشر في تدفقات الأحداث غير المتزامنة يُعد بشكل عام أكثر تحديًا من تقدير الوضعية في صور RGB التقليدية، نظرًا لقلة أو غياب الأحداث المُفعَّلة في المشاهد الثابتة. في هذا العمل، نقترح أول منهجية تعتمد على التعلم لتقدير الوضعية ثلاثية الأبعاد للإنسان من تدفق واحد من الأحداث. يتكون منهجنا من خطوتين: أولاً، نعالج تدفق كاميرا الأحداث للتنبؤ بثلاث خرائط حرارية متعامدة لكل مفصل؛ حيث تمثل كل خريطة مُشَرَّطة تProjected للمفصل على أحد الأسطح المتعامدة. ثانياً، ندمج مجموعات الخرائط الحرارية لتقدير الموضع الثلاثي الأبعاد للمفاصل في الجسم. كمساهمة إضافية، نُقدِّم مجموعة بيانات جديدة وصعبة لتقدير الوضعية البشرية بناءً على الأحداث، وذلك من خلال محاكاة الأحداث من مجموعة بيانات RGB Human3.6m. تُظهر التجارب أن منهجنا يحقق دقة متميزة، ويخفف الفجوة في الأداء بين الرؤية التقليدية باستخدام RGB والرؤية القائمة على الأحداث. يمكن الوصول إلى الكود مجانًا عبر الرابط: https://iit-pavis.github.io/lifting_events_to_3d_hpe.