UDE: محرك قيادة موحد لتحرير الحركة البشرية

إن إنشاء تسلسلات حركة إنسانية قابلة للتحكم وقابلة للتعديل يُعد تحديًا رئيسيًا في مجال توليد الأفاتار ثلاثي الأبعاد. كان إنشاء الحركة البشرية وتحريكها عملية مرهقة لفترة طويلة، حتى ظهور النهج القائمة على التعلم مؤخرًا وتطبيقها. ومع ذلك، ما زالت هذه النهج محددة المهمة أو محددة الوسيلة \cite{ahuja2019language2pose}\cite{ghosh2021synthesis}\cite{ferreira2021learning}\cite{li2021ai}. في هذه الورقة، نقترح "UDE"، وهي المحرك المُوحَّد الأول الذي يمكّن من إنشاء تسلسلات حركة بشرية من نص طبيعي أو تسلسلات صوتية (انظر الشكل~\ref{fig:teaser}). ويتكون UDE من المكونات الأساسية التالية: 1) وحدة تكميم الحركة المستندة إلى VQVAE التي تمثل تسلسل الحركة المستمر كرموز لاتينية منفصلة \cite{van2017neural}، 2) مشفر تحويلي عالمي للوسائط \cite{vaswani2017attention} يتعلم تحويل الإشارات المُوجهة حسب الوسيلة إلى فضاء مشترك، 3) شبكة تحويلية موحدة للرموز (نوع GPT \cite{radford2019language}) تتنبأ بفهرس الرمز اللاتيني المُكمّم بطريقة تلقائية متسلسلة (auto-regressive)، و4) فك تشفير الحركة بالاعتماد على التشتت (diffusion motion decoder) الذي يستقبل الرموز الحركية كمدخلات ويُعيد ترميزها إلى تسلسلات حركة ذات تنوع عالٍ. وقد قمنا بتقييم طريقتنا على معايير HumanML3D \cite{Guo_2022_CVPR} وAIST++ \cite{li2021learn}، وأظهرت نتائج التجارب تفوق طريقتنا على أحدث الأداء المُسجَّل في المجال. موقع المشروع: \url{https://github.com/zixiangzhou916/UDE/}