مراجعة GTC '19 Classic | كيفية تصميم الرقصات وإنشاءها في البعد الثاني؟

في معرض GTC China 2019 الذي أقيم في سوتشو مؤخرًا، قدم مختبر NetEase Leihuo Fuxi مشروع تصميم الرقصات بالذكاء الاصطناعي لتحسين أداء الرسوم المتحركة في الألعاب. من خلال تزويد الذكاء الاصطناعي بتقنية تصميم الرقصات اليدوية التقليدية، يمكننا الحصول على محتوى رقص يلبي جودة اللعبة في وقت أقصر. وبالتالي، فإنه يمكن تشجيع المزيد من اللاعبين على التفاعل والمشاركة، وفي نفس الوقت تقديم الشعر والأغاني والرقصات للجمهور في شكل ألعاب.

تانغ شييي هي ممثلة وطنية من الدرجة الأولى في مسرح الأوبرا والرقص الوطني الصيني، وفازت بالعديد من مسابقات الرقص المحلية الكبرى؛ "ضد التيار"، لعبة فنون قتالية عبر الإنترنت تم إنشاؤها بواسطة مختبر NetEase Leihuo Fuxi، مقتبسة من رواية Wen Ruian "الأربعة".

من كان يظن أنه في يوم من الأيام، سوف ترتدي تانغ شيي بدلة التقاط الحركة وتظهر في فريق إنتاج برنامج "ضد البرد". انعكس وضع رقصها الرشيق وسحر كل نظرة لها على الفور على شخصية اللعبة لي شيشي.

هذا جزء من الرقصات التي قام بها فريق تطوير "Against the Water Cold" باستخدام الذكاء الاصطناعي. ويعمل فريق التطوير مع فريق الأوبرا الوطنية الصينية ومسرح الرقص، على أمل دمج الثقافة الصينية والرقص الكلاسيكي في اللعبة، حتى يمكن نقل هذا الكنز الثقافي في شكل عناصر الألعاب.

من أجل تحسين جودة وإبداع الرسوم المتحركة، بالإضافة إلى دعوة مصممي الرقص المحترفين لتصميم الرقصات وفقًا للموسيقى المقابلة،كما قام الفريق أيضًا بتطبيق الذكاء الاصطناعي على عملية تصميم الرقصات، مما يسمح للذكاء الاصطناعي بتعلم تصميم رقصات تتناسب مع الموسيقى المختلفة بناءً على هذه الحركات الاحترافية.

 يستخدم مختبر Leihuo Fuxi الذكاء الاصطناعي لخلق تجربة لعب أفضل

تأسس مختبر NetEase Leihuo Fuxi (المشار إليه فيما يلي باسم المختبر)، وهو شركة تابعة لمجموعة NetEase، في عام 2007 وهو أول استوديو ألعاب لشركة NetEase في هانغتشو. وقد قام المختبر على التوالي بتطوير ثلاث علامات تجارية رائدة للألعاب، وهي "قصة الأشباح الصينية"، و"تيانيو"، و"ني شوي هان"، وقام بمحاولات في مجالات الحركة والرياضة والألعاب غير الرسمية.

وفي السنوات الأخيرة، واصل المختبر بذل الجهود في مجال الذكاء الاصطناعي وأطلق العديد من التطبيقات المدعومة بالذكاء الاصطناعي في الألعاب لخلق تجربة لعب في العصر التكنولوجي للاعبين. على سبيل المثال، يتم استخدام الروبوتات القتالية 3 ضد 3 التي تم تدريبها بواسطة العديد من العملاء الأذكياء في "Trendy Basketball"؛ يتم استخدام خوارزميات الذكاء الاصطناعي للكشف عن الغش في "Sky: Children of the Light".

وفي مشروع تصميم الرقصات للشخصيات في لعبة "ضد الماء"، قام المختبر أيضًا بتطبيق تقنية الذكاء الاصطناعي بهدف تحسين أداء الرسوم المتحركة في اللعبة وزيادة كفاءة تصميم الرقصات.بفضل دعم تقنية الذكاء الاصطناعي، لا يستطيع اللاعبون ضبط حركات رقص الشخصية بأنفسهم فحسب، بل يمكنهم أيضًا ضبط المشهد والإضاءة وإطلاق العنان لإبداعاتهم.

كيف يتم تنفيذ تقنية تصميم الرقصات بالذكاء الاصطناعي؟ دعونا نستمع إلى الشرح المفصل من المطورين وراء هذه التكنولوجيا. 

الرقص التقليدي غير فعال، كيف نحل هذه المشكلة؟

في مؤتمر GTC China 2019 الذي عقد في سوتشو في 19 ديسمبر من هذا العام، ألقى Wen Xiang، وهو مهندس خوارزمية كبير من مختبر NetEase Leihuo Fuxi، خطابًا بعنوان《نظام تصميم رقص ذكي يعتمد على إرشادات معلومات الفيديو》لقد أخذنا الخطاب لاستكشاف كيفية تصميم الرقصات باستخدام الذكاء الاصطناعي.

قدم ون شيانغ أن الرقص يمكن أن يتردد صداه بسهولة لدى المستخدمين، لذاسيعتمد عدد متزايد من المشاهد على محتوى الرقص.التفاعل مع اللاعبين. على سبيل المثال، السيناريوهات مثل الألعاب الإلكترونية وتفاعلات الواقع الافتراضي. ويأمل وين شيانغ وفريقه الذكي للرسوم المتحركة أيضًااستخدام التكنولوجيا لتحسين كفاءة إنتاج الرسوم المتحركة وتعزيز أداء الرسوم المتحركة.

لإنتاج محتوى الرقص المتحرك،هناك طريقتان تقليديتان:أحدها هو أن مصممي الرقص المحترفين يقومون بترتيب الرقص وفقًا للموسيقى واستخدام معدات احترافية لفصل حركات الرقص، والتي يتم تعديلها بعد ذلك بواسطة رسامين محترفين للحصول على العمل النهائي. الطريقة الأخرى هي أنه عندما تكون هناك حاجة إلى إنتاج محتوى الرقص بكميات كبيرة، فإن الراقص ذو الخبرة سوف يقوم بتقطيع الموسيقى ثم تجميع حركات الرقص المصنوعة بالفعل في الموسيقى.

ومع ذلك، فإن كلا الطريقتين تستغرقان وقتا طويلا وتتطلبان جهدا كبيرا.لذا، تساءل وين شيانغ وفريقه، هل يمكنهم استخدام الذكاء الاصطناعي لتحسين عملية تصميم الرقصات والحصول تلقائيًا على حركات رقص متطابقة بناءً على قطعة موسيقية؟ إنهم يضعون الأفكار موضع التنفيذ. 

بعد الاستماع إلى الموسيقى ومشاهدة مقاطع الفيديو، تعلم الذكاء الاصطناعي تصميم الرقصات

كانت المشاكل التي واجهها الفريق في البداية هي أن البيانات المتعلقة بالموسيقى وحركات الرقص كانت تحتوي على قدر كبير من الضوضاء؛ ومن ناحية أخرى، لم تكن كمية البيانات على قدر التوقعات. ولحل هذه المشكلات، اكتشف الفريق وجود العديد من مقاطع الفيديو الخاصة بالرقصات الاحترافية على منصات مثل تيك توك ويوتيوب، والتي تحتوي على موسيقى ومعلومات هيكلية ثنائية الأبعاد. يمكنهم استخدام خوارزمية الهيكل ثنائي الأبعاد الموجودة لتحليل معلومات الهيكل ثنائي الأبعاد للموسيقى ومطابقتها في النهاية مع الحركات ثلاثية الأبعاد. انطلاقا من هذه الفكرة تم إطلاق مشروع تصميم الرقصات بالذكاء الاصطناعي.

 الخطوة الأولى في تصميم رقصات الذكاء الاصطناعي: شبكة ترجمة الموسيقى والحركة 

الخطوة الأولى في تصميم الرقصات باستخدام الذكاء الاصطناعي هي ترجمة حركات الموسيقى والرقص إلى بيانات قابلة للاستخدام، وهي شبكة مترجم الصوت والحركة.

أولاً، قم باختيار عدد معين من مقاطع فيديو الرقص الاحترافية من موقع يوتيوب، بما في ذلك الرقص الحضري والهيب هوب والرقص الصيني وأنواع أخرى. ثم خذ حوالي 200 عينة، كل عينة 3 إلى 6 دقائق، استخدم كشف الهيكل العظمي ثنائي الأبعاد، ومعالجة البيانات مسبقًا.

أضاف الفريق بعض القواعد الأخلاقية لقضايا مثل القصص المصورة، والانسداد، وحركات الكاميرا السريعة التي من شأنها أن تؤثر على عرض الهيكل العظمي ثنائي الأبعاد. بعد المعالجة، يتم الحصول على الموسيقى وبيانات الهيكل العظمي ثنائية الأبعاد.

استخدام التعلم العميق لاستخراج أوضاع الرقص البشرية إلى بيانات هيكلية ثنائية الأبعادوبعد ذلك استخدم الفريقشبكة كثافة الخليط (MDN)، للتنبؤ التفصيلي بوضعية الجسم،لتتناسب الحركات مع الموسيقى. جوهر هذه الخطوة هو الحصول على معلومات حركة الهيكل العظمي ثنائية الأبعاد التي تتوافق مع الموسيقى.

 تصميم الرقصات بالذكاء الاصطناعي الخطوة 2: مطابقة الحركة ثلاثية الأبعاد القائمة على الطور 

الخطوة الثانية هي مطابقة الحركة ثلاثية الأبعاد مع معلومات حركة الهيكل العظمي ثنائية الأبعاد، وهو ما يسمى بمطابقة الرقص القائمة على المرحلة.

تعتمد هذه الخطوة بشكل أساسي على المطابقة المبنية على تحليل توجه العمل. العناصر هنا تشملميزات الحركة العالمية ومعلومات المنحنى المحلي،على سبيل المثال، معلومات حول منحنيات الجزء العلوي أو السفلي من الجسم. ومن ثم، بناءً على النظرية التي تقول إن 16 نبضة تشكل دورة كاملة، يتم تقطيع الحركات إلى أجزاء. في عملية التجزئة، لا يتم ذلك بشكل عشوائي، بل على أساس نقطة توقف تعتبر الحركة في هذه المرحلة في كثير من الأحيان بمثابة نقطة تحول في حركة الرقص.

بهذه الطريقة، يمكن تقسيم حركة الرقص إلى المزيد من الحركات الفرعية. تتم بعد ذلك مطابقة هذه الإجراءات مع معلومات الإجراءات الموجودة في مكتبة الإجراءات ثلاثية الأبعاد. سيتم تسجيل نقاط لكل مباراة، وستكون النتيجة النهائية الأكثر منطقية وجمالاً هي الإجراء الذي يحصل على أعلى نقاط. ومن خلال هذه المطابقة، يتم إدخال الموسيقى أخيرًا للحصول على حركات رقص ثلاثية الأبعاد كاملة.

 الخطوة الثالثة في تصميم الرقصات بالذكاء الاصطناعي هي جعل الرقص أكثر احترافية وإضافة متغيرات الحركة 

إن إكمال مطابقة الإجراء ليس كل شيء. ووجد الفريق أنه في أنشطة مثل Dance Storm وStreet Dance Battle، فإن رقص الخبراء يبدو دائمًا مختلفًا بعض الشيء. ومن خلال الملاحظة وجدوا أن السبب الرئيسي كانتسجيل الخروج من الموسيقىوفي بعض الجوانب، سيكون للخبراء وجهات نظر مختلفة.

لذلك انضم الفريقتشويه الرسوم المتحركة،أتمنى فقط أن تتمكن مطابقة الذكاء الاصطناعي من القيام بذلك أيضًا. لذلك، عند مطابقة أقرب نقطة موسيقية للنقر، فإنها ستمتد أو تضغط على نقطة الموسيقى، مما يجعل منحنى الحركة أكثر تسارعًا عند الاقتراب من نقطة النقر.احصل على درجة أعلى من الملاءمة في نقطة الخطوة.

تصميم الرقصات بالذكاء الاصطناعي يلهم خيالًا غير محدود

ويذكر أن المشروع تم تطبيقه علىأدوات التسويق والألعابفي لعبة "Ni Shui Han"، استخدم بعض اللاعبين تصميم الرقصات بالذكاء الاصطناعي لجعل شخصيات اللعبة الذكورية ترقص بشكل ساحر، مما جذب انتباه مستخدمي الإنترنت.

ومن أجل تجنب إنتاج نفس الرقصة، أضاف الفريق أيضًا عشوائية إلى شبكة الإخراج. وبالتالي، فإن نفس الموسيقى سوف تنتج رقصات مختلفة، ولا يتعين على اللاعبين القلق بشأن "ارتداء نفس الملابس" أثناء الرقص.

ويجب القول أنه بمساعدة تكنولوجيا الذكاء الاصطناعي، يمكن تحويل الثقافة الصينية إلى عناصر ألعاب، وتقديمها للجمهور، ونشرها على نطاق أوسع. وفي الوقت نفسه، تصبح اللعبة أكثر إثارة للاهتمام وأكثر تخصيصًا.

واستعارة لكلمات لي رينجي، رئيس مختبر فوكسي للذكاء الاصطناعي التابع لشركة NetEase، فإن "الذكاء الاصطناعي يجعل الألعاب أفضل والعالم مكانًا أفضل".

-- زيادة--