Multi-GAT: نهج تعلّم تمثيل متعدد الوسائط هرمي مبني على الانتباه الرسومي للتمييز عن النشاط البشري

تمييز الأنشطة البشرية يُعد إحدى القدرات الحيوية التي يحتاجها الروبوت لكي يكون مفيدًا في البيئات البشرية. وعلى الرغم من أن الروبوتات الحديثة مزودة بأنواع متعددة من المستشعرات، إلا أن تمييز أنشطة الإنسان (HAR) يظل مشكلة صعبة، خاصة في ظل وجود بيانات مستشعرات مزعجة. في هذا العمل، نقدّم نهجًا جديدًا لتمييز الأنشطة البشرية يعتمد على الانتباه الرسومي متعدد الوسائط، يُسمّى Multi-GAT، والذي يتعلم بشكل هرمي خصائص متعددة الوسائط مكملة. ونطوّر نموذجًا متعدد الوسائط من نوع "مزيج الخبراء" (mixture-of-experts) لفصل واستخلاص الخصائص المميزة المحددة بالوسيلة، مما يمكّن من التفاعل بين الخصائص. علاوةً على ذلك، نقدّم منهجية جديدة تعتمد على تبادل الرسائل (message-passing) في الانتباه الرسومي، لالتقاط العلاقات بين الوسائط المختلفة واستخلاص خصائص متعددة الوسائط مكملة. تشير النتائج التجريبية على مجموعتي بيانات متعدد الوسائط للأنشطة البشرية إلى أن Multi-GAT تفوق جميع الخوارزميات الحالية في تمييز الأنشطة البشرية على جميع مجموعات البيانات والمقاييس التي تم اختبارها. وأخيرًا، تُظهر النتائج التجريبية في ظل بيانات مستشعرات مزعجة أن Multi-GAT تتفوق باستمرار على جميع النماذج المُقارنة. ويُشير الأداء القوي إلى إمكانية استخدام Multi-GAT لتمكين التعاون السلس بين الإنسان والروبوت في البيئات البشرية المزدحمة بالضوضاء.