استخدام شبكة HalluciNet لتمثيلات الزمان والمكان باستخدام 2D-CNN

التمثيلات المكانية-الزمانية التي يتم تعلمها باستخدام شبكات العصب الاصطناعية المتشابكة ثلاثية الأبعاد (CNN) تُستخدم حاليًا في أحدث الأساليب المتعلقة بمهام الحركة. ومع ذلك، فإن شبكات العصب الاصطناعية المتشابكة ثلاثية الأبعاد (3D-CNN) معروفة بأنها تستهلك ذاكرة وكفاءة حسابية أكبر بكثير مقارنة بالهياكل البسيطة لشبكات العصب الاصطناعية المتشابكة ثنائية الأبعاد (2D-CNN). نقترح إنشاء تمثيلات مكانية-زمانية من خلال استخدام شبكة عصبية معلمة ثلاثية الأبعاد (3D-CNN) مع شبكة عصبية طالبة ثنائية الأبعاد (2D-CNN). من خلال تشجيع الشبكة ثنائية الأبعاد (2D-CNN) على التنبؤ بالمستقبل واستشراف النشاط القادم، يتم دفعها للحصول على فهم أعمق للحركات وكيف تتغير. يعتبر مهمة الإنشاء الخيالي مهمة ثانوية يمكن استخدامها مع أي مهمة أخرى تتعلق بالحركة في إطار التعلم متعدد المهام. يظهر التقييم التجريبي الدقيق أن مهمة الإنشاء الخيالي تساعد بالفعل في تحسين الأداء في مهام التعرف على الحركات، وتقييم جودة الحركات، والتعرف على المشاهد الديناميكية. من الناحية العملية، يمكن أن يمكّن إمكانية إنشاء تمثيلات مكانية-زمانية دون الحاجة إلى شبكة عصبية ثلاثية أبعاد فعلية من نشر هذه التقنية في سيناريوهات ذات موارد محدودة، مثل قوة حوسبة محدودة و/أو نطاق ترددي أقل. يمكن الوصول إلى الكود البرمجي هنا: https://github.com/ParitoshParmar/HalluciNet.