باركو: تصنيع حركة من نص باستخدام التنسيق الجزئي

نُعَرِّض مهمة صعبة: تحويل النص إلى حركة (text-to-motion synthesis)، بهدف إنتاج حركات تتماشى مع الوصف النصي وتُظهر حركات متناسقة. في الوقت الراهن، تُدخل الطرق القائمة على الأجزاء تقسيم الجسم إلى أجزاء أثناء عملية التوليد لتحقيق توليد أكثر دقة. ومع ذلك، تواجه هذه الطرق تحديات مثل غياب التناسق بين حركات الأجزاء المختلفة، وصعوبة على الشبكات الفهم المفاهيم المرتبطة بالأجزاء. علاوةً على ذلك، يؤدي إدخال مفاهيم أجزاء أكثر دقة إلى تعقيدات حسابية كبيرة. في هذه الورقة، نقترح نموذجًا يُسمى "ParCo" (Part-Coordinating Text-to-Motion Synthesis)، الذي يتمتع بقدرات محسّنة في فهم حركات الأجزاء والاتصال بين مولّدات حركات الأجزاء المختلفة، مما يضمن توليد حركات متناسقة ودقيقة. وبشكل محدد، نُفكّك الحركة الشاملة للجسم إلى حركات متعددة للأجزاء المختلفة، بهدف تأسيس مفهوم أولي مسبق لكل جزء. ثم نستخدم عدة مولّدات خفيفة الوزن مصممة لتوليد حركات أجزاء مختلفة، وننسق بينها من خلال وحدة التنسيق بين الأجزاء التي نقترحها. تُظهر نتائجنا أداءً متفوّقًا على المعايير الشائعة مع تكاليف حسابية منخفضة، بما في ذلك مجموعتي البيانات HumanML3D وKIT-ML، مما يقدّم دليلاً قوياً على فعالية النموذج. يمكن الاطلاع على الكود عبر الرابط: https://github.com/qrzou/ParCo.