شبكة BiPO: شبكة الانغلاق الجزئي المتجهين لتركيب الحركة من النص

توليد حركات بشرية طبيعية وعابرة للتعبير من الوصف النصي يعتبر تحديًا بسبب تعقيد تنسيق ديناميكيات الجسم بأكمله وتقاطع أنماط الحركة الدقيقة على مدى تسلسلات ممتدة تعكس بدقة النص المعطى. لمعالجة هذا التحدي، نقدم BiPO (شبكة الإغلاق الجزئي المتجهة في الاتجاهين) لـ توليد الحركة من النص، وهو نموذج جديد يعزز توليد الحركة من النص عبر دمج التوليد القائم على الأجزاء مع هندسة ذاتية الانحدار ثنائية الاتجاه. يسمح هذا الدمج لـ BiPO بالأخذ بعين الاعتبار السياقات السابقة واللاحقة أثناء التوليد مع زيادة السيطرة التفصيلية على أجزاء الجسم الفردية دون الحاجة إلى طول الحركة الحقيقي. للحد من الارتباط بين أجزاء الجسم الناجم عن هذا الدمج، قمنا بتطوير تقنية الإغلاق الجزئي، التي تقوم بإخفاء المعلومات المتعلقة بجزء معين من الحركة بشكل احتمالي خلال التدريب. في تجاربنا الشاملة، حقق BiPO أفضل الأداء في مجموعة بيانات HumanML3D، متفوقًا على الأساليب الحديثة مثل ParCo و MoMask و BAMM فيما يتعلق بدرجات FID وجودة الحركة العامة. مما يجدر ذكره أن BiPO يتميز ليس فقط في مهمة توليد الحركة من النص بل أيضًا في مهام تحرير الحركة التي تتضمن توليد حركات بناءً على سلاسل حركية جزئية تم إنشاؤها سابقًا والأوصاف النصية. هذه النتائج تكشف فعالية BiPO في تطوير توليد الحركة من النص وإمكاناتها للتطبيقات العملية.