تقدير وضع الإنسان المستشعر بالمشهد المادي

نُقدّم تقنية لتقدير وضعية الإنسان المُدمَجة والمستندة إلى وعي بالمشهد، حيث نقدّر الوضعيات ثلاثية الأبعاد بناءً على إدراك ذاتي (بروبيوسيبشن) للوكيل المُحاكى ووعي بالمشهد، إلى جانب ملاحظات خارجية من وجهة نظر ثالثة. على عكس الطرق السابقة التي تعتمد غالبًا على تحسين متعدد المراحل، واستنتاج غير سببي، ونمذجة معقدة للاتصالات لتقدير وضعية الإنسان والتفاعل بين الإنسان والمشهد، فإن طريقتنا تُعدّ أحادية المرحلة، وسببية، وتعيد استرجاع الوضعيات ثلاثية الأبعاد الشاملة في بيئة محاكاة. وبما أن الملاحظات ثنائية الأبعاد من وجهة نظر ثالثة مرتبطة بوضعية الكاميرا، نقترح فصل وضعية الكاميرا واستخدام متجه حركة مُعرّف بخطوات متعددة من التمثيل التصاعدي في الإطار الإحداثي العالمي كمصدر معلومات حركية لوكيلنا المُدمج. وباستخدام محاكاة فيزيائية ومشاهد مُسجّلة مسبقًا (مثل الشبكات ثلاثية الأبعاد)، نُحاكي وكيلنا في بيئات يومية (مكتبة، مكتب، غرفة نوم، إلخ)، ونزوّد هذا الوكيل بأجهزة استشعار بيئية تمكنه من التنقل الذكي والتفاعل مع هندسة المشهد. كما تعتمد طريقتنا فقط على نقاط المفتاح ثنائية الأبعاد، ويمكن تدريبها على مجموعات بيانات مُصطنعة مشتقة من قواعد بيانات شهيرة لحركة الإنسان. ولتقييم الأداء، نستخدم مجموعتي بيانات شهيرتين: H36M وPROX، ونحقق تقديرًا عالي الجودة للوضعية على مجموعة بيانات PROX الصعبة دون استخدام أي تسلسلات حركة من PROX أثناء التدريب. يتوفر الكود والفيديوهات على صفحة المشروع.