HyperAIHyperAI

Command Palette

Search for a command to run...

UDE: محرك قيادة موحد لتحرير الحركة البشرية

Zixiang Zhou Baoyuan Wang

الملخص

إن إنشاء تسلسلات حركة إنسانية قابلة للتحكم وقابلة للتعديل يُعد تحديًا رئيسيًا في مجال توليد الأفاتار ثلاثي الأبعاد. كان إنشاء الحركة البشرية وتحريكها عملية مرهقة لفترة طويلة، حتى ظهور النهج القائمة على التعلم مؤخرًا وتطبيقها. ومع ذلك، ما زالت هذه النهج محددة المهمة أو محددة الوسيلة \cite{ahuja2019language2pose}\cite{ghosh2021synthesis}\cite{ferreira2021learning}\cite{li2021ai}. في هذه الورقة، نقترح "UDE"، وهي المحرك المُوحَّد الأول الذي يمكّن من إنشاء تسلسلات حركة بشرية من نص طبيعي أو تسلسلات صوتية (انظر الشكل~\ref{fig:teaser}). ويتكون UDE من المكونات الأساسية التالية: 1) وحدة تكميم الحركة المستندة إلى VQVAE التي تمثل تسلسل الحركة المستمر كرموز لاتينية منفصلة \cite{van2017neural}، 2) مشفر تحويلي عالمي للوسائط \cite{vaswani2017attention} يتعلم تحويل الإشارات المُوجهة حسب الوسيلة إلى فضاء مشترك، 3) شبكة تحويلية موحدة للرموز (نوع GPT \cite{radford2019language}) تتنبأ بفهرس الرمز اللاتيني المُكمّم بطريقة تلقائية متسلسلة (auto-regressive)، و4) فك تشفير الحركة بالاعتماد على التشتت (diffusion motion decoder) الذي يستقبل الرموز الحركية كمدخلات ويُعيد ترميزها إلى تسلسلات حركة ذات تنوع عالٍ. وقد قمنا بتقييم طريقتنا على معايير HumanML3D \cite{Guo_2022_CVPR} وAIST++ \cite{li2021learn}، وأظهرت نتائج التجارب تفوق طريقتنا على أحدث الأداء المُسجَّل في المجال. موقع المشروع: \url{https://github.com/zixiangzhou916/UDE/}


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp