خسارة التضمين الهيكلي والدلالاتي المشتركة لتصنيف الحركات الدقيقة

في هذا البحث، نقدم بشكل موجز حل فريقنا HFUT-VUT لتحدي تصنيف الحركات الدقيقة (Micro-gesture Classification) في تحدي MiGAI ضمن مؤتمر IJCAI 2023. يهدف مهمة تصنيف الحركات الدقيقة إلى التعرف على فئة الحركة في مقطع فيديو معين بناءً على بيانات الهيكل العظمي. لتنفيذ هذه المهمة، اقترحنا شبكة تعرف على الحركات الدقيقة تعتمد على شبكات الـ 3D-CNN، والتي تدمج خسارة التضمين الهيكلي والدلالية لتحسين أداء تصنيف الحركات. وفي النهاية، حصلنا على المركز الأول في تحدي تصنيف الحركات الدقيقة، متقدمين على الفريق الذي حل في المركز الثاني بمقدار 1.10% من دقة التصنيف الأولى (Top-1 accuracy).