الانتباه الموجه لوصف الحركة القابل للتفسير

تم مؤخرًا إجراء أعمال متنوعة وشاملة في مجال توليد الحركة البشرية المشروطة بالنص. ومع ذلك، فإن التقدم في الاتجاه المعاكس، وهو تسمية الحركة (motion captioning)، لم يشهد تطورًا مماثلًا. في هذا البحث، نقدم تصميم هندسي جديد يعزز جودة توليد النص من خلال التركيز على القابلية للتفهم عبر آليات الانتباه المكانية-الزمانية والتكيفية. لتشجيع التفكير البشري، نقترح طرقًا لتوجيه الانتباه أثناء التدريب، مع التركيز على المناطق الهيكلية ذات الصلة على مر الزمن وتمييز الكلمات المرتبطة بالحركة. نناقش ونقيس قابلية تفسير نموذجنا باستخدام الرسوم البيانية ذات الصلة وتوزيعات الكثافة. بالإضافة إلى ذلك، نستفيد من القابلية للتفهم لاستخلاص معلومات دقيقة عن الحركة البشرية، بما في ذلك تحديد موقع العمل، وتحديد أجزاء الجسم، وتمييز الكلمات المرتبطة بالحركة. أخيرًا، نناقش قابلية نقل أساليبنا إلى مهام أخرى. تظهر تجاربنا أن توجيه الانتباه يؤدي إلى تسميات قابلة للتفهم مع تعزيز الأداء مقارنة بأنظمة الطليعة غير القابلة للتفهم التي تحتوي على عدد أكبر من المعلمات. يمكن الوصول إلى الكود من الرابط التالي: https://github.com/rd20karim/M2T-Interpretable.