شبكات العصبية التكيفية للرؤية لأداء عالٍ في التعرف على حركات الإنسان باستخدام الهيكل العظمي

التعرف على حركات الإنسان باستخدام الهيكل العظمي قد جذب مؤخرًا اهتمامًا متزايدًا بفضل سهولة الوصول والشعبية المتزايدة للبيانات ثلاثية الأبعاد. أحد التحديات الرئيسية في التعرف على الحركات باستخدام الهيكل العظمي يكمن في الاختلافات الكبيرة في الزوايا عند التقاط البيانات. لتخفيض تأثير هذه الاختلافات، يقدم هذا البحث مخططًا جديدًا لتكييف الزاوية، والذي يحدد بشكل آلي نقاط المراقبة الافتراضية بطريقة تعتمد على البيانات وتعلم الآلة. قمنا بتصميم شبكتين عصبيتين متكيفتين مع الزاوية، وهما VA-RNN المستندة إلى RNN وVA-CNN المستندة إلى CNN. لكل شبكة، تم تصميم وحدة تكييف زاوية جديدة تتعلم وتحدد نقاط المراقبة الأكثر ملاءمة، وتحول الهياكل العظمية إلى تلك النقاط للتقدير الشامل من النهاية إلى النهاية مع شبكة التصنيف الرئيسية. دراسات الاستبعاد تظهر أن النماذج المتكيفة مع الزاوية المقترحة قادرة على تحويل هياكل عظمية ذات زوايا مختلفة إلى نقاط مراقبة افتراضية أكثر اتساقًا، مما يقلل بشكل كبير من تأثير الزاوية. بالإضافة إلى ذلك، قمنا بتصميم نظام ثنائي التيار (والذي يشار إليه باسم VA-fusion) الذي يقوم بتجميع نتائج الشبكتين لتقديم التنبؤ المدمج. تقييمات تجريبية واسعة النطاق على خمسة مقاييس صعبة تثبت فعالية الشبكات العصبية المتكيفة مع الزاوية المقترحة وأدائها المتفوق على أحدث الأساليب المتقدمة. يمكن الحصول على شفرة المصدر من https://github.com/microsoft/View-Adaptive-Neural-Networks-for-Skeleton-based-Human-Action-Recognition.