التجسيد التسلسلي التوافقي لصنع الإجراءات القائمة على الهيكل العظمي

في هذه الدراسة، نهدف إلى إنشاء أفعال طويلة تمثل كمتسلسلات من الهياكل العظمية (الهيكل العظمي). يجب أن تُظهر المتسلسلات المُولَّدة أفعالًا إنسانية مستمرة وذات معنى، مع الحفاظ على الترابط بين أجزاء الجسم. بدلًا من توليد الهياكل العظمية تباعًا وفقًا لنموذج ذاتي-انعكاسي (autoregressive)، نقترح إطارًا يُولِّد المتسلسلة بأكملها دفعة واحدة من خلال تحويل متسلسلة من المتجهات الخفية التي تم أخذها عشوائيًا من عملية غاوسيّة (GP). يُسمّى هذا الإطار بشبكة توليد المتسلسلات التبادلية (CSGN)، والتي تُعدّل بشكل مشترك البنية في الأبعاد الزمنية والمكانية. حيث تُمكّن العملية الغاوسيّة السابقة (GP prior) والانعكاسات الزمنية من التقاط البنية الزمنية على مقياسين أو أكثر؛ كما تُنشئ صلة مكانية بين المتجهات الخفية ورسوم الهياكل العظمية من خلال خوارزمية جديدة لتحسين الرسم البياني (graph refining scheme). من الجدير بالذكر أن CSGN يسمح بتحويل ثنائي الاتجاه بين الفضاء الخفي والفضاء الملاحظ، مما يمكّن من التلاعب بالمعنى في متسلسلات الأفعال بطرق متنوعة. أجرينا دراسات تجريبية على عدة مجموعات بيانات، بما في ذلك مجموعة من متسلسلات الرقص عالية الجودة التي جمعناها نحن. أظهرت النتائج أن إطارنا يمكنه إنتاج متسلسلات أفعال طويلة تكون متسقة عبر خطوات الزمن وبين أجزاء الجسم.