تناول مجموعات البيانات والنماذج هذه، وتعلم الرقص مع الذكاء الاصطناعي، واصنع TensorFlowBoys

يمكن استخدام خوارزمية التعلم العميق GAN لتحقيق تتبع الحركة والهجرة، ونسخ حركات شخصية معينة لأشخاص آخرين. إذا تم تطبيقه على مجال الرقص، يمكن لأي شخص أن يصبح ملك الرقص.

في الآونة الأخيرة، بدأ الموسم الثاني من برنامج "رقصة الشارع في الصين"، مما أشعل مرة أخرى موجة الرقص على مستوى البلاد.

بعد فترة وجيزة من بثه، حصل هذا البرنامج المليء بالطاقة على درجة عالية بلغت 9.6 على موقع Douban. لقد أدى الأداء الرائع الذي قدمه الراقصون في المسابقة إلى جعل الجمهور أمام الشاشة يهتف "مثير للغاية!" "مذهل!"، ولم يتمكنوا حتى من منع أنفسهم من الاهتزاز مع الموسيقى.

ومع ذلك، إذا كنت تريد حقًا القفز، فمن المحتمل أن يكون الفرق بين الواقع والخيالإنه يفتقد فقط عدد قليل من Show Luos.أتخيل نفسي هكذا:

ولكن في الواقع الأمر هو مثل هذا:

بالنسبة للراقصين، تسمى حركاتهم هيب هوب، وكسر، وقفل، وما إلى ذلك، أما بالنسبة للمتفرجين، فهي مجرد اهتزاز، وتدحرج، وإشارة...

ربما لن أتمكن أبدًا من ممارسة الرقص في الشوارع في هذه الحياة؟ دعونا نذهب ونقوم ببعض الرقص المربع...

إلخ! لا تستسلم بسرعة.لقد قام العديد من كبار الشخصيات من جامعة كاليفورنيا، بيركلي، بتطوير "سلاح سري" للذكاء الاصطناعي لك، والذي سيسمح لك بتحسين مهاراتك في الرقص على الفور وتصبح الجيل القادم من ملك الرقص.

يمكن لأي شخص أن يكون ملك الرقص

في أغسطس/آب الماضي، نشر باحثون في جامعة كاليفورنيا، بيركلي، ورقة بحثية بعنوان"الجميع يرقصون الآن"أُطرُوحَة،يصنعباستخدام خوارزمية التعلم العميق GAN (الشبكات التنافسية التوليدية)، من الممكن نسخ حركات المؤدين المحترفين ونقلها إلى أي شخص.،وبذلك نحقق مبدأ "افعل كما أفعل".

دعونا أولاً ننظر إلى نتائج الرقصة المنسوخة ونشعر بها:

كانت تقنية تغيير الوجه بتقنية Deepfake شائعة جدًا في السابق، ولكنها الآن أصبحتيمكن للشخص بأكمله أن يكون "Deepfake"!دعونا نرى كيف يتم تحقيق هذه العملية السحرية.

وتنص الورقة على ما يلي:إجراءات الهجرةتنقسم الطريقة عمومًا إلى الخطوات التالية:

• نظرًا لوجود مقطعي فيديو، أحدهما هو فيديو مصدر العمل والآخر هو فيديو الشخص المستهدف؛
  
• ثم يتم استخدام خوارزمية لاكتشاف حركات الراقصين المحترفين من الفيديو المصدر وإنشاء إطارات شخصية للحركات المقابلة؛
  
• بعد ذلك، تم استخدام خوارزمية التعلم العميق لشبكتي GAN التوليديتين المدربتين لإنشاء صور كاملة للشخص المستهدف وتوليد صور فيديو أكثر وضوحًا وواقعية لهم.

والنتيجة النهائية هي،يمكن للنظام رسم خريطة لحركات الجسم للراقصين المحترفين على الراقصين الهواة.بالإضافة إلى تقليد الحركات، فإنه أيضًاقادر على محاكاة الأصوات البشرية وتعبيرات الوجه بشكل مثالي.

المبادئ وراء التكنولوجيا السوداء تم الكشف عنها

المبدأ المحدد لهذه التكنولوجيا السوداء هو كما يلي: يتم تقسيم خط أنابيب هجرة العمل إلى ثلاثة أجزاء:

1. اكتشاف الوضعية:

استخدم الفريق الموجودنموذج اكتشاف الوضع OpenPose (مشروع مفتوح المصدر بجامعة كارنيجي ميلون)،استخرج النقاط الرئيسية لوضعيات الجسم والوجه واليد من مقاطع الفيديو المصدر. جوهر هذه الخطوة هو ترميز وضعية الجسم وتجاهل المعلومات مثل شكل الجسم.

2. توحيد معايير الوضع العالمي:

احسب الفرق بين شكل الجسم وموضع الشخص المصدر والهدف في إطار معين، ثم قم بتحويل رسم بياني لوضعية المصدر إلى رسم بياني لوضعية يتطابق مع شكل الجسم وموضع الشخص المستهدف.

3. استنتج صورة الشخص المستهدف من الرسم البياني للوضعية القياسية:

باستخدام نموذج الشبكة التنافسية التوليدية، يتم تدريب النموذج على تعلم التعيين من الرسم البياني للوضعية القياسية إلى صورة الشخص المستهدف.

في تطوير النظام، استخدم الفريق وحدة معالجة الرسوميات GeForce GTX 1080 Ti في NVIDIA TITAN Xp وcuDNN المعجل بواسطة PyTorch للتدريب والاستدلال.

في مرحلة تحويل الصورة، نستخدم ترجمة الصور التدريبية التنافسية التي طورتها شركة NVIDIA. بيكس تو بيكس اتش دي  بنيان. يتم التنبؤ بالبقايا الوجهية بواسطة المولد العالمي لـ pix2pixHD. إنهم يستخدمون مُميز PatchGAN واحد 70×70 للوجوه.

أثناء التدريب، يتم جمع بيانات الفيديو المصدر والهدف بطرق مختلفة قليلاً. ولضمان جودة الفيديو المستهدف، تم استخدام كاميرا الهاتف المحمول لالتقاط لقطات في الوقت الفعلي للهدف بسرعة 120 إطارًا في الثانية، وكان طول كل فيديو 20 دقيقة على الأقل.

بالنسبة لفيديو المصدر، نحتاج فقط إلى الحصول على نتائج الكشف عن الوضعية المناسبة، حتى تتمكن من استخدام مقاطع فيديو عالية الجودة لعروض الرقص على الإنترنت.

أما بالنسبة لنتائج النظام، فقد قال الباحثون إنها ليست مثالية بعد. على الرغم من أن مقاطع الفيديو التي تنتجها واقعية للغاية في الغالب،في بعض الأحيان، قد تكون هناك علامة على حدوث خطأ ما، مثل اختفاء جزء من الجسم.ظواهر غير طبيعية مثل "الذوبان".

أيضًا،وبما أن الخوارزمية لا تقوم بتشفير الملابس، فمن المستحيل إنتاج مقطع فيديو للملابس وهي ترفرف مع الحركات.يجب على الهدف ارتداء ملابس ضيقة.

إذا تجاهلنا هذه العيوب، فإن التكنولوجيا مثيرة للاهتمام.

باستخدام أداة الذكاء الاصطناعي هذه، حتى لو كنت مبتدئًا في الرقص أو أطرافك متيبسة وغير منسقة، يمكنك أن تصبح "معلمًا للرقص" مثل آرون كوك، أو شو لو، أو أي راقص آخر تحبه. حتى أن رقصة جاكسون على سطح القمر تعتبر قطعة كعكة بالنسبة لك.

ومع ذلك، فإن فريق بيركلي ليس الفريق الوحيد الذي لديه حلم الرقص. كما بذلت جوجل الكثير من الجهد في الجمع بين الذكاء الاصطناعي والرقص.

الذكاء الاصطناعي من جوجل يصمم حركات رقص جديدة

في نهاية العام الماضي، عمل داميان هنري، مدير المشروع الفني في Google Arts and Culture، مع مصمم الرقصات البريطاني واين ماكجريجور لتطويرأداة يمكنها إنشاء تصميمات رقص بشكل تلقائي بأسلوب معين.

يتمتع ماكجريجور، الذي حصل على دكتوراه فخرية في العلوم من جامعة بليموث، باهتمام طويل الأمد بالعلوم والتكنولوجيا. وبينما كان يراجع مقاطع الفيديو الراقصة التي قدمها على مدار 25 عامًا، تساءل عما إذا كان بإمكانه استخدام التكنولوجيا للحفاظ على عروضه حديثة. فذهب ليسأل هنري عن كيفية استخدام التكنولوجيا لإنشاء محتوى رقص جديد بشكل مستمر؟

حصل هنري على الإلهام من منشور على موقع علمي. يقدم هذا المنشور مقدمة لاستخدام الشبكات العصبية للتنبؤ بالحرف التالي استنادًا إلى خط اليد في الحرف السابق.

لذلك فهوتم اقتراح خوارزمية مماثلة، قادرة على إجراء تنبؤات لحركة معينة. يتم التقاط وضعية الراقص من خلال الفيديو، ثم يتم إنشاء حركات الرقص الأكثر احتمالا وعرضها على الشاشة في الوقت الحقيقي.يعرض.

تتجاهل هذه الخوارزمية أيضًا ملابس الأشخاص وتلتقط فقط النقاط الرئيسية لوضعية الممثل المحددة لإنتاج نموذج لشخصية العصا.

وعندما تم إطعامه مقاطع فيديو رقص لماكجريجور وراقصيه، تعلم الذكاء الاصطناعي كيفية الرقص، وكان أسلوب الرقص الذي تم إنشاؤه مشابهًا جدًا لأسلوب ماكجريجور.

على الرغم من أن الذكاء الاصطناعي لا يزال لديه بعض القيود في إبداع الرقص. لا يمكن لأداة الذكاء الاصطناعي من Google هذه ابتكار إجراءات لم "ترها" من قبل. إنه فقطيتنبأالإجراء الأكثر احتمالا بين الإجراءات التي تعلمها.

أيضًا،يمكن لهذه التقنية أيضًا توفير تصميم رقصات بأسلوب مختلط،على سبيل المثال، إذا قمت بإدراج مقطع فيديو للسامبا البرازيلية في مقطع فيديو لماكجريجور، فقد يتوصل الذكاء الاصطناعي إلى رقصة مختلطة جديدة تمامًا. هنري ليس قلقًا بشأن حدوث رقصة غريبة، لأن مصدر التعلم لا يزال يتم إدخاله من قبل الناس.ل.

تتبع وضعية الجسم بالذكاء الاصطناعي، أكثر من مجرد "حلم رقص"

بعد رؤية العديد من التقنيات التي تساعدك على "الرقص"، هل أنت حريص على تجربتها؟

يمكن للذكاء الاصطناعي الرقصي تمكين الأشخاص الذين يخافون أو لا يرغبون في الحركة من التحرك بحرية وسهولة أكبر وتجربة متعة الرقص والرياضة. لكن التكنولوجيا وراء هذا الأمر تتجاوز مجرد الترفيه.

ادعم الرقص تقدير وضعية الذكاء الاصطناعي،هناك كمية هائلة من الطاقة مخفية خلفها، والتي يمكن أن تساعدنا على إكمال حركات الجسم بدقة أكبر، مثل إن تعلم اللياقة البدنية ثلاثية الأبعاد، وتصحيح وضعية الجسم الرياضية، وتدريب إعادة تأهيل المرضى، وحتى التجهيز الافتراضي وتصحيح وضعية الجسم بالصور، سوف يجلب اختراقات جديدة.

مع هذا النوع من التطور، سوف تفهمنا الآلات بشكل أفضل وتصبح أكثر دراية بخصائصنا الجسدية وسلوكياتنا، مما يساعدنا على فهم أنفسنا بشكل أفضل.

حسنًا، دعونا نتوقف عن الحديث الآن. سأتعلم الرقص من الذكاء الاصطناعي. هل تريد أن تأتي معنا؟

انقر لقراءة المقال الأصلي