تقدير وضع الإنسان ثلاثي الأبعاد متعدد الزوايا في الزمن الحقيقي باستخدام تغذية راجعة معنوية لمستشعرات الحافة الذكية

نقدم طريقة جديدة لتقدير وضعية الإنسان ثلاثية الأبعاد من خلال نظام متعدد الكاميرات، باستخدام مستشعرات ذكية موزعة على الحافة متصلة بخلفية مركزية من خلال حلقة تغذية راجعة ذات معنى. يتم تنفيذ كشف المفاصل ثنائية الأبعاد لكل رؤية كاميرية محليًا على معالج استنتاج مدمج مخصص. يتم فقط نقل تمثيل الهيكل العظمي المعنوي عبر الشبكة، بينما تبقى الصور الخام على لوحة المستشعر. يتم استرداد الوضعية ثلاثية الأبعاد من المفاصل الثنائية الأبعاد على الخلفية المركزية، باستخدام تقنية التثليث ونموذج جسم يأخذ بعين الاعتبار المعرفة المسبقة بالهيكل العظمي البشري. تم تنفيذ قناة تغذية راجعة من الخلفية إلى المستشعرات الفردية على المستوى المعنوي. يتم إعادة تProjected الوضعية ثلاثية الأبعاد غير المتمركزة (Allocentric) إلى رؤى المستشعرات، حيث تُدمج مع كشف المفاصل الثنائية الأبعاد. وبذلك يمكن تحسين النموذج المعنوي المحلي على كل مستشعر من خلال دمج معلومات السياق الشامل. يمتلك النظام بأكمله القدرة على التشغيل في الوقت الفعلي. قمنا بتقييم طريقة العمل لدينا على ثلاث مجموعات بيانات عامة، حيث حققنا نتائج من الطراز الرائد، وبيّنا فوائد هيكلنا التغذوي، بالإضافة إلى تجاربنا الخاصة على نظام متعدد الأشخاص. وتبين أن استخدام إشارة التغذية الراجعة يُحسّن كشف المفاصل الثنائية الأبعاد، وبالتالي يُحسّن الوضعيات ثلاثية الأبعاد المقدرة.