نظرة سريعة على السحاب: التعرف على الأنشطة البشرية من نقاط الميزات غير المنظمة

نقترح طريقة لتحديد الأنشطة البشرية من بيانات RGB لا تعتمد على أي معلومات عن الوضع أثناء وقت الاختبار ولا تقوم بحساب المعلومات الوضعية بشكل صريح داخليًا. بدلاً من ذلك، يقوم وحدة الانتباه البصري بتعلم التنبؤ بمتواليات النظرة السريعة في كل إطار. هذه النظرات السريعة تتوافق مع نقاط الاهتمام في المشهد ذات الصلة بالأنشطة المصنفة. لا يتم فرض أي تماسك مكاني على مواقع النظرة السريعة، مما يمنح الوحدة حرية استكشاف نقاط مختلفة في كل إطار وتحسين عملية فحص المعلومات البصرية. تتبع وتجميع هذا النوع من البيانات غير المنظمة تسلسليًا هو تحدي نواجهه من خلال فصل مجموعة النظرات السريعة عن مجموعة العمال المتكررين للتتبع والتصنيف. يتلقى هؤلاء العمال النظرات السريعة، ويقومون بالتتبع الحركي التالي والتنبؤ بالنشاط بشكل مشترك. يتم تعيين النظرات السريعة بشكل ناعم للعمال، حيث يتم تحسين تماسك التعيينات في الفضاء المكاني والزمني وفضاء الخصائص باستخدام وحدة ذاكرة خارجية. لا يتم اتخاذ قرارات صارمة، بمعنى آخر، يتم تعيين كل نقطة نظرة سريعة لجميع العمال الموجودين، ولكن بأهميات مختلفة. تتفوق طرقنا على أفضل الأساليب الحالية في أكبر مجموعة بيانات متاحة حتى الآن لتحديد الأنشطة البشرية؛ وهي مجموعة بيانات NTU RGB+D، وفي مجموعة بيانات أصغر لتحديد حركات الإنسان؛ وهي مجموعة بيانات Northwestern-UCLA Multiview Action 3D. رمز البرمجيات الخاص بنا متاح للعامة على الرابط https://github.com/fabienbaradel/glimpse_clouds.