이 데이터 세트와 모델을 섭취하고 AI와 함께 춤추는 법을 배우고 TensorFlowBoys를 만들어 보세요.
딥러닝 알고리즘인 GAN을 사용하면 동작 추적 및 마이그레이션을 구현하고 특정 캐릭터의 움직임을 다른 사람에게 복사할 수 있습니다. 이것을 댄스 분야에 적용하면 누구나 댄스왕이 될 수 있다.
최근, "This! 중국 스트리트 댄스" 시즌 2가 시작되어 다시 한번 전국적인 댄스 열풍에 불을 지폈습니다.
이 활력 넘치는 프로그램은 방영된 지 얼마 되지 않아 두반에서 9.6점이라는 높은 점수를 받았습니다. 경연대회에서 댄서들이 보여준 훌륭한 공연에 스크린 앞의 관객들은 "너무 신난다!"라고 감탄사를 연발했습니다. "놀랍다!"라는 함성을 지르며, 그들은 음악에 맞춰 몸을 떨기까지 했습니다.
하지만 정말로 뛰어오르고 싶다면 현실과 상상의 차이는 아마도쇼 루오가 몇 개 없을 뿐이에요.나는 나 자신을 이렇게 상상한다.
하지만 실제로는 이렇습니다.
댄서들에게는 그들의 움직임이 힙합, 브레이킹, 록킹 등으로 불리는 반면, 관객들에게는 그저 흔들리고, 굴러가고, 가리키는 것일 뿐입니다...
아마도 저는 이 세상에서는 스트릿댄스를 결코 할 수 없을 것 같아요? 가서 스퀘어댄스를 추자...
등! 너무 빨리 포기하지 마세요.캘리포니아 대학교 버클리의 여러 고위 인사들이 여러분을 위한 AI "비밀 무기"를 개발했습니다. 이 무기를 사용하면 즉시 춤 실력을 향상시키고 차세대 댄스 킹이 될 수 있습니다.
누구나 춤추는 왕이 될 수 있다
지난 8월, 캘리포니아 대학교 버클리의 연구원들은 다음과 같은 제목의 논문을 발표했습니다.《모두 지금 춤을 춰요》명제,만들다딥러닝 알고리즘인 GAN(Generative Adversarial Networks)을 사용하면 전문 공연자의 동작을 복사하여 다른 사람에게 전달하는 것이 가능합니다.,이렇게 하여 "내가 하는 대로 하라"는 말이 성립되었습니다.
먼저, 모방한 춤의 결과를 살펴보고 느껴보도록 하겠습니다.
딥페이크 얼굴변환 기술은 예전에는 매우 인기가 있었지만 이제는사람 전체가 "딥페이크"가 될 수 있다!이 마법같은 작업이 어떻게 이루어지는지 살펴보겠습니다.
논문에는 다음과 같이 기술되어 있습니다.마이그레이션 작업이 방법은 일반적으로 다음 단계로 나뉩니다.
- 두 개의 비디오가 주어졌을 때, 하나는 액션 소스 비디오이고 다른 하나는 타겟 인물 비디오입니다.
- 그런 다음 알고리즘을 사용하여 소스 비디오에서 전문 댄서의 동작을 감지하고 해당 동작의 스틱 피규어 프레임을 만듭니다.
- 다음으로, 훈련된 두 개의 생성적 적대 신경망(GAN)의 딥러닝 알고리즘을 사용하여 대상 인물의 전체 이미지를 만들고, 그 인물에 대한 더욱 선명하고 사실적인 비디오 이미지를 생성했습니다.
최종 결과는 다음과 같습니다.이 시스템은 전문 댄서의 신체 움직임을 아마추어 댄서의 신체 움직임에 매핑할 수 있습니다..움직임을 모방하는 것 외에도인간의 목소리와 표정을 완벽하게 시뮬레이션할 수 있습니다..
블랙 테크놀로지의 원리가 밝혀졌습니다
이 블랙 기술의 구체적인 원리는 다음과 같습니다. 액션 마이그레이션 파이프라인은 세 부분으로 나뉩니다.
1. 자세 감지:
팀은 기존을 사용했습니다포즈 감지 모델 OpenPose(CMU 오픈 소스 프로젝트),소스 비디오에서 신체, 얼굴, 손 포즈의 주요 포인트를 추출합니다. 이 단계의 핵심은 신체 자세를 인코딩하고 신체 모양과 같은 정보를 무시하는 것입니다.
2. 글로벌 자세 표준화:
주어진 프레임에서 소스 인물과 타겟 인물의 신체 모양과 위치의 차이를 계산하고, 소스 포즈 그래프를 타겟 인물의 신체 모양과 위치에 맞는 포즈 그래프로 변환합니다.
3. 표준화된 자세 그래프에서 대상 인물의 이미지를 추론합니다.
생성적 적대 신경망 모델을 사용하여 모델은 표준화된 포즈 그래프에서 대상 인물 이미지로의 매핑을 학습하도록 훈련됩니다.
이 시스템을 개발하면서 팀은 NVIDIA TITAN Xp의 GeForce GTX 1080 Ti GPU와 PyTorch로 가속화된 cuDNN을 사용하여 학습과 추론을 수행했습니다.
이미지 변환 단계에서는 NVIDIA가 개발한 적대적 훈련 이미지 변환을 사용합니다. 픽스투픽스HD 건축학. 얼굴 잔여물은 pix2pixHD의 글로벌 생성기를 통해 예측됩니다. 그들은 얼굴에 70×70 PatchGAN 단일 판별기를 사용합니다.
훈련 중에 소스 및 타겟 비디오 데이터는 약간 다른 방식으로 수집됩니다. 대상 영상의 품질을 보장하기 위해 모바일 폰 카메라를 사용하여 초당 120프레임의 속도로 대상 피사체의 실시간 영상을 촬영했으며, 각 영상의 길이는 최소 20분 이상이었습니다.
원본 비디오의 경우 적절한 포즈 감지 결과만 얻으면 됩니다., 그래서 여러분은 인터넷에서 고품질의 댄스 공연 영상을 이용할 수 있습니다.
연구자들은 시스템의 결과가 아직 완벽하지 않다고 말했습니다. 그것이 제작하는 영상은 대부분 매우 사실적이지만,때로는 신체의 일부가 사라지는 등, 뭔가 잘못된 일이 일어나는 징후가 보일 것입니다.'녹는' 등의 비정상적인 현상.
또한,이 알고리즘은 옷을 인코딩하지 않기 때문에 옷이 움직임에 따라 펄럭이는 영상을 제작하는 것은 불가능합니다., 타겟은 꼭 끼는 옷을 입어야 합니다.
이런 단점들을 제쳐 놓으면 이 기술은 흥미로운 것이다.
이 AI 도구를 사용하면 댄스 초보자이거나 팔다리가 뻣뻣하고 움직임이 불편하더라도 Aaron Kwok, Show Luo 또는 좋아하는 다른 댄서처럼 "댄스 마스터"가 될 수 있습니다. 잭슨의 문워크도 당신에게는 쉬운 일이죠.
하지만 버클리 팀은 댄스에 대한 꿈을 가진 유일한 팀은 아닙니다. 구글 역시 AI와 댄스를 결합하는 데 많은 생각을 쏟았습니다.
구글 AI, 새로운 댄스 동작 안무
작년 말, Google Arts and Culture의 기술 프로젝트 매니저인 Damien Henry는 영국 안무가 Wayne McGregor와 협력하여특정 스타일의 댄스 안무를 자동으로 생성할 수 있는 도구입니다.
플리머스 대학에서 명예 과학 박사 학위를 받은 맥그리거는 오랫동안 과학과 기술에 관심을 가져왔습니다. 그는 25년간의 댄스 영상을 돌아보며, 기술을 사용하면 자신의 공연을 계속해서 새롭게 유지할 수 있을지 궁금해했습니다. 그래서 그는 헨리에게 기술을 사용하여 지속적으로 새로운 댄스 콘텐츠를 만드는 방법을 물었습니다.
헨리는 과학 웹사이트의 게시물에서 영감을 얻었습니다. 이 글에서는 신경망을 사용하여 이전 글자의 필체를 기반으로 다음 글자를 예측하는 방법을 소개합니다.
그래서 그는주어진 동작에 대한 예측을 할 수 있는 유사한 알고리즘이 제안되었습니다. 댄서의 자세는 비디오로 포착되고, 가장 실제와 유사한 댄스 동작이 실시간으로 생성되어 화면에 표시됩니다.보여주다.
이 알고리즘은 사람들의 옷을 무시하고 배우의 특정 자세의 핵심 포인트만 포착하여 스틱 피규어 모델을 생성합니다.
그들이 맥그리거와 그의 댄서들의 댄스 영상을 입력했을 때, AI는 춤추는 법을 배웠고, 생성된 댄스 스타일은 맥그리거의 댄스 스타일과 매우 유사했습니다.
인공지능은 아직 댄스 창의성 측면에서 어느 정도 한계가 있습니다. 이 구글 AI 도구는 이전에 "본 적 없는" 동작을 만들어낼 수 없습니다. 그냥예측하다학습한 것 중 가장 일어날 가능성이 높은 행동입니다.
또한,이 기술은 또한 혼합 스타일의 댄스 안무를 제공할 수 있습니다.,예를 들어, 맥그리거의 영상에 브라질 삼바 영상을 삽입하면 AI가 완전히 새로운 혼합 댄스를 선보일 수도 있습니다. 헨리는 그것이 이상한 춤을 출까봐 걱정하지 않는다. 왜냐하면 학습의 원천은 여전히 사람들의 입력이기 때문이다.의.
AI 자세 추적, 단순한 '댄스 꿈' 그 이상
"춤추는" 데 도움이 되는 수많은 기술을 본 후, 이제 그것들을 시도해 보고 싶으신가요?
댄스 AI는 움직이는 것을 두려워하거나 꺼리는 사람들이 더 자유롭고 쉽게 움직이고, 댄스와 스포츠의 즐거움을 경험할 수 있도록 해줍니다. 하지만 이를 뒷받침하는 기술은 단순히 오락 이상의 의미를 가지고 있습니다.
댄스를 응원하세요 AI 포즈 추정,그 뒤에는 엄청난 양의 에너지가 숨겨져 있어 우리가 신체 움직임을 보다 정확하게 완료하는 데 도움이 될 수 있습니다. 3D 피트니스 학습, 스포츠 자세 교정, 환자 재활 훈련, 심지어 가상 피팅과 사진 자세 교정까지 새로운 혁신을 가져올 것입니다.
이런 발전을 통해 기계는 우리를 더 잘 이해하고 우리의 신체적 특징과 행동에 더 익숙해지며, 그로 인해 우리가 우리 자신을 더 잘 이해하는 데 도움이 될 것입니다.
좋아요, 지금은 얘기를 멈추죠. AI에게 춤을 배우려고 합니다. 우리와 함께 가실래요?