الحركة السياقية: توليد مقاطع فيديو الحركة المرافقة للكلام من خلال تمثيل حركي يراعي السياق

إن إنشاء الإيماءات المرافقة للكلام يُعد أمرًا بالغ الأهمية لخلق أفاتارات واقعية وتعزيز التفاعل بين الإنسان والحاسوب من خلال مزامنة الإيماءات مع الكلام. وعلى الرغم من التطورات الحديثة، تواجه الطرق الحالية صعوبات في تحديد بدائل إيقاعية أو معنوية دقيقة من الصوت لاستخلاص أنماط إيماءات سياقية وتحقيق واقعية على مستوى البكسل. ولحل هذه التحديات، نقدّم إطار عمل يُسمى "Contextual Gesture"، الذي يُحسّن إنشاء مقاطع فيديو الإيماءات المرافقة للكلام من خلال ثلاثة مكونات مبتكرة: (1) مزامنة زمنية بين الكلام والإيماءات تربط هاتين الوسائط زمنيًا، (2) تجزئة إيماءات سياقية تُدمج السياق الصوتي في تمثيل أنماط الحركة من خلال عملية استخلاص (distillation)، و(3) وحدة تحسين واعية بالبنية تستخدم الاتصالات الحافة لربط نقاط الإيماءات وتحسين جودة إنشاء الفيديو. تُظهر تجاربنا الواسعة أن إطار العمل "Contextual Gesture" لا يُنتج فقط مقاطع فيديو إيماءات واقعية ومزامنة مع الكلام، بل يدعم أيضًا إنشاء تسلسلات طويلة من الفيديو وتطبيقات تعديل إيماءات الفيديو، كما هو موضح في الشكل 1. صفحة المشروع: https://andypinxinliu.github.io/Contextual-Gesture/.