إيجاد حركات بشرية ثلاثية الأبعاد متنوعة وطبيعية من نص

يُعدّ إنشاء الحركات البشرية ثلاثية الأبعاد تلقائيًا من النص مشكلة صعبة. ومن المتوقع أن تكون الحركات المُولَّدة كافية التباين لاستكشاف فضاء الحركات المرتبطة بالنص، والأهم من ذلك، أن تُصوّر بدقة المحتوى المذكور في وصف النص المُحدَّد. نعالج هذه المشكلة باستخدام نهج مكوّن من مرحلتين: عينة الطول من النص (text2length) وإنشاء الحركة من النص (text2motion). تتمثل المرحلة الأولى (text2length) في أخذ عينات من الدالة التوزيعية المُتعلّمة لطول الحركة مع التقيّد بالنص المُدخل. تليها وحدة إنشاء الحركة من النص (text2motion) التي تعتمد على المُشفّر التلقائي التوقيتي المتغير (Temporal Variational Autoencoder) لإنتاج مجموعة متنوعة من الحركات البشرية ذات الأطوال المُستخرجة. بدلًا من التعامل مباشرة مع تسلسلات الوضع (pose sequences)، نقترح تمثيل الحركة الداخلي بـ "كود قطعة حركية" (motion snippet code)، والذي يُمكّن من التقاط السياقات الحركية المحلية ذات الدلالة، وقد أُظهر تجريبيًا أنه يُسهّل إنشاء حركات واقعية ومطابقة بدقة للنص المُدخل. علاوةً على ذلك، تم بناء مجموعة بيانات كبيرة مكوّنة من حركات بشرية ثلاثية الأبعاد مُكتوبة (scripted 3D human motions)، تُسمّى HumanML3D، وتضم 14,616 مقطعًا حركيًا و44,970 وصفًا نصيًا. تُظهر التجارب التجريبيّة الواسعة فعالية النهج المُقترح. صفحة المشروع: https://ericguo5513.github.io/text-to-motion/.