Command Palette
Search for a command to run...
جيس: توليد تدريجي لغنى التوليد النصي لحركة الإنسان
جيس: توليد تدريجي لغنى التوليد النصي لحركة الإنسان
Xuehao Gao Yang Yang Zhenyu Xie Shaoyi Du Zhongqian Sun Yang Wu
الملخص
في هذه الورقة، نقترح إطارًا جديدًا توليدياً مسلسلاً يعتمد على التشتت (diffusion) لتصنيع حركات الإنسان الموجهة بالنص، والذي يستخدم استراتيجية تُسمى "التركيب التدريجي لتصنيع الحركة" (Gradually Enriching Synthesis، اختصارًا GUESS). تُحدِّد هذه الاستراتيجية أهداف التوليد من خلال تجميع المفاصل الجسمية في الهياكل العظمية التفصيلية حسب تقاربها الدلالي، ثم استبدال كل مجموعة من هذه المفاصل بعقدة واحدة تمثل جزءًا جسديًا موحدًا. يؤدي هذا الإجراء إلى استخلاص تدريجي لوضعية الإنسان إلى هياكل عظمية أكثر تبسيطًا على مستويات تفاصيل متعددة. ومع التدرج في زيادة مستوى الاستخلاص، تصبح الحركات البشرية أكثر اختصارًا واستقرارًا، مما يُحدث فائدة كبيرة في المهام المتعلقة بتوليد الحركة عبر الوسائط المختلفة. ويتم تقسيم مشكلة تصنيع حركة الإنسان الموجهة بالنص بالكامل إلى عدة مستويات استخلاص، ثم حلها باستخدام إطار توليد متعدد المراحل يعتمد على نموذج تشتت خطي (cascaded latent diffusion). يبدأ المولِّد الأول بتكوين أول تخمين للحركة البشرية على مستوى التبسيط الأقصى بناءً على الوصف النصي المُعطى؛ ثم يُولِّد سلسلة من المولِّدات المتتالية تُضفي تدريجيًا تفاصيل أكثر على الحركة، بالاعتماد على الوصف النصي والنتائج المُولَّدة سابقًا. وبشكل ملحوظ، نُدمج GUESS مع آلية التوليف الديناميكية متعددة الشروط المُقترحة، لضبط توازن ديناميكي بين التأثيرات التعاونية للشرط النصي المُعطى والحالة المُبسَّطة المُولَّدة، في مختلف مراحل التوليد. وتحقق التجارب الواسعة على مجموعات بيانات كبيرة أن GUESS تتفوّق على الطرق الحالية الرائدة من حيث الدقة، والواقعية، والتنوع، بفارق كبير. يمكن الوصول إلى الكود عبر الرابط: https://github.com/Xuehao-Gao/GUESS.