Fg-T2M: توليد حركة الإنسان القائمة على النص بدقة عالية عبر نموذج الانتشار

إن توليد حركة الإنسان الموجهة بالنص في مجال الرؤية الحاسوبية له أهمية كبيرة ويتسم بالتحدي. ومع ذلك، فإن الطرق الحالية محدودة في إنتاج تسلسلات حركة محددة أو غير دقيقة، وتفشل في التحكم الفعّال في العلاقات الزمنية والمكانية المطلوبة للتوافق مع وصف نصي معين. في هذا العمل، نقترح طريقة دقيقة لتكوين تسلسلات حركية بشخصية بشريّة عالية الجودة، تدعم وصفًا نصيًا دقيقًا. يتكوّن نهجنا من مكوّنين رئيسيين: 1) وحدة مساعدة مبنية على البنية اللغوية، تُنشئ ميزات لغوية دقيقة وشاملة للاستفادة الكاملة من المعلومات النصية؛ و2) وحدة استنتاج متقدمة واعية بالسياق، تتعلم ميزات لغوية معنوية جوارية وشاملة من الشبكات العصبية الرسومية العميقة والسطحية لتحقيق استنتاج متعدد الخطوات. تُظهر التجارب أن نهجنا يتفوّق على الطرق الحالية لتوليد الحركة الموجهة بالنص على مجموعتي بيانات HumanML3D وKIT، ويُنتج حركات أفضل تتم التحقق منها بصريًا وفقًا للشروط النصية.