بالياندو: توليد الرقص ثلاثي الأبعاد بواسطة GPT ناقد الفعل مع ذاكرة راقصة

تحفيز الشخصيات ثلاثية الأبعاد على الرقص وفقًا لقطعة موسيقية ما يُعد أمرًا بالغ الصعوبة نظرًا للقيود الفضائية المفروضة على وضعيات الرقص وفقًا للمعايير التراثية للرقص. علاوةً على ذلك، يجب أن تُحافظ التسلسلات الرقصية المُولَّدة على التماسك الزمني مع مختلف أنواع الموسيقى. ولحل هذه التحديات، نقترح إطارًا جديدًا يُسمى "بالياندو" (Bailando) يعتمد على مكوّنين قويين: 1) ذاكرة رقصية تتعلم تلخيص الوحدات الرقصية ذات المعنى من تسلسلات الوضعيات ثلاثية الأبعاد إلى كتابة رمزية مُكمّلة (codebook)، و2) نموذج من نوع "مُولِّد نموذج توليدي مُدرّب مسبقًا باستخدام معمارية GPT" (Actor-Critic Generative Pre-trained Transformer) يُركّب هذه الوحدات لتكوين رقصة سلسة ومتماسكة مع الموسيقى. وباستخدام الذاكرة الرقصية المُدرّبة، يتم تحقيق إنشاء الرقص على الوحدات المُكمّلة التي تتوافق مع معايير عالية من التراث الرقصي، مما يضمن أن تكون التسلسلات الرقصية الناتجة ضمن القيود الفضائية المطلوبة. ولتحقيق محاذاة متناغمة بين إيقاعات الحركة المختلفة وإيقاعات الموسيقى، نُدخل نظام تعلم التقويم القائم على "اللاعب-المحكم" (Actor-Critic) إلى نموذج GPT، مع وظيفة مكافأة مُصممة خصيصًا لمحاذاة الإيقاع (beat-align reward function). تُظهر التجارب الواسعة على المعايير القياسية أن الإطار المقترح يحقق أداءً متميزًا على المستوى الجودي والكمي. ويشير بشكل ملحوظ إلى أن الذاكرة الرقصية المُدرّبة قادرة على اكتشاف وحدات رقصية ذات معنى يمكن تفسيرها بسهولة من قبل البشر، وبشكل غير مُراقب.