HyperAIHyperAI

Command Palette

Search for a command to run...

بالياندو: توليد الرقص ثلاثي الأبعاد بواسطة GPT ناقد الفعل مع ذاكرة راقصة

Li Siyao Weijiang Yu Tianpei Gu Chunze Lin Quan Wang Chen Qian Chen Change Loy Ziwei Liu

الملخص

تحفيز الشخصيات ثلاثية الأبعاد على الرقص وفقًا لقطعة موسيقية ما يُعد أمرًا بالغ الصعوبة نظرًا للقيود الفضائية المفروضة على وضعيات الرقص وفقًا للمعايير التراثية للرقص. علاوةً على ذلك، يجب أن تُحافظ التسلسلات الرقصية المُولَّدة على التماسك الزمني مع مختلف أنواع الموسيقى. ولحل هذه التحديات، نقترح إطارًا جديدًا يُسمى "بالياندو" (Bailando) يعتمد على مكوّنين قويين: 1) ذاكرة رقصية تتعلم تلخيص الوحدات الرقصية ذات المعنى من تسلسلات الوضعيات ثلاثية الأبعاد إلى كتابة رمزية مُكمّلة (codebook)، و2) نموذج من نوع "مُولِّد نموذج توليدي مُدرّب مسبقًا باستخدام معمارية GPT" (Actor-Critic Generative Pre-trained Transformer) يُركّب هذه الوحدات لتكوين رقصة سلسة ومتماسكة مع الموسيقى. وباستخدام الذاكرة الرقصية المُدرّبة، يتم تحقيق إنشاء الرقص على الوحدات المُكمّلة التي تتوافق مع معايير عالية من التراث الرقصي، مما يضمن أن تكون التسلسلات الرقصية الناتجة ضمن القيود الفضائية المطلوبة. ولتحقيق محاذاة متناغمة بين إيقاعات الحركة المختلفة وإيقاعات الموسيقى، نُدخل نظام تعلم التقويم القائم على "اللاعب-المحكم" (Actor-Critic) إلى نموذج GPT، مع وظيفة مكافأة مُصممة خصيصًا لمحاذاة الإيقاع (beat-align reward function). تُظهر التجارب الواسعة على المعايير القياسية أن الإطار المقترح يحقق أداءً متميزًا على المستوى الجودي والكمي. ويشير بشكل ملحوظ إلى أن الذاكرة الرقصية المُدرّبة قادرة على اكتشاف وحدات رقصية ذات معنى يمكن تفسيرها بسهولة من قبل البشر، وبشكل غير مُراقب.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp