جعل غير المرئي مرئيًا: التعرف على الحركات من خلال الجدران والعيوب البصرية

فهم أفعال الأشخاص وتفاعلاتهم عادةً ما يعتمد على رؤيتهم. كانت تلقين عملية التعرف على الأفعال من البيانات البصرية موضوعًا للعديد من البحوث في مجتمع رؤية الحاسوب. ولكن، ماذا لو كان الضوء خافتًا جدًا، أو إذا كان الشخص مخفيًا أو خلف جدار؟ في هذا البحث، نقدم نموذج شبكة عصبية قادر على اكتشاف أفعال الإنسان عبر الجدران والمخفيات، وفي ظروف الإضاءة السيئة. يستخدم نموذجنا إشارات التردد الراديوي (RF) كمدخلات، ويولد هيكل العظمي ثلاثي الأبعاد كتمثيل وسيط، ويعترف بأفعال وتفاعلات عدة أشخاص مع مرور الزمن. من خلال تحويل المدخلات إلى تمثيل وسيط مبني على الهيكل العظمي، يمكن لنموذجنا أن يتعلم من قواعد بيانات تعتمد على الرؤية ومن قواعد بيانات تعتمد على الإشارات الراديوية (RF)، مما يسمح للمهمتين بمساعدة بعضهما البعض. نوضح أن نموذجنا يصل إلى دقة مماثلة لأنظمة التعرف على الأفعال التي تعتمد على الرؤية في السيناريوهات المرئية، ولكنه يستمر في العمل بدقة عندما يكون الأشخاص غير مرئيين، وبالتالي يعالج السيناريوهات التي تتجاوز حدود أنظمة التعرف على الأفعال الحالية التي تعتمد على الرؤية.