GTC '19 클래식 리뷰 | 2차원에서 어떻게 안무하고 춤을 창작하나요?

최근 수저우에서 열린 GTC China 2019에서 NetEase Leihuo Fuxi Laboratory는 게임 애니메이션의 성능을 개선하기 위한 AI 안무 프로젝트를 소개했습니다. AI에 기존의 수동 안무 기술을 제공하면, 더 짧은 시간 안에 게임 수준의 댄스 콘텐츠를 얻을 수 있습니다. 따라서 더 많은 플레이어들이 상호작용하고 공유하도록 장려할 수 있으며, 동시에 게임 형태로 대중에게 송시, 노래, 춤을 선보일 수 있습니다.

당스이는 중국 국가가극무용극장의 국가급 일류 배우이며, 국내의 많은 주요 무용 경연대회에서 우승했습니다. 넷이즈 레이화 푸시 연구소에서 제작한 온라인 무술 게임 '어게인스트 더 커런트'는 웬 루이안의 소설 '사인(四人)'을 원작으로 한 작품이다.

어느 날 탕스이가 모션캡처 슈트를 입고 '추위속으로' 제작진에 등장할 줄 누가 알았겠는가. 그녀의 우아한 춤추는 자세와 그녀의 눈빛 하나하나에 담긴 매력은 게임 캐릭터 리시시의 모습에 곧바로 반영되었습니다.

이는 AI를 활용해 '어게인스트 더 워터 콜드' 개발팀이 수행한 안무의 일부입니다. 개발팀은 중국 국립 오페라 및 무용극장 팀과 협력하여 중국 문화와 고전 무용을 게임에 접목하고, 이러한 문화적 보물을 게임 요소 형태로 전승하고자 합니다.

애니메이션의 질과 창의성을 향상시키기 위해 전문 안무가를 초빙하여 해당 음악에 맞춰 춤을 안무하는 것 외에도,또한 이 팀은 안무 과정에 인공지능을 적용하여 AI가 전문적인 동작에 기반하여 다양한 음악에 맞춰 안무를 짜는 법을 학습할 수 있도록 했습니다.

 레이후오 푸시 연구소, AI 활용해 더 나은 게임 경험 제공

넷이즈 레이화 푸시 연구소(이하 연구소)는 넷이즈 그룹의 자회사로, 2007년에 설립되었으며, 넷이즈의 항저우 첫 번째 게임 스튜디오입니다. 연구소는 이미 '중국 귀신 이야기', '천우', '니수이한' 등 3대 대표 게임 브랜드를 개발하였고, 액션, 스포츠, 캐주얼 게임 분야에서 시도를 하였습니다.

최근 몇 년 동안, 연구소는 AI 분야에서 노력을 계속해 왔으며, 기술 시대에 맞춰 플레이어에게 게임 경험을 제공하기 위해 게임에서 AI 지원 애플리케이션을 다수 출시했습니다. 예를 들어, 여러 지능형 에이전트가 훈련시킨 3대3 전투 로봇은 "트렌디 농구"에 사용됩니다. 인공지능 알고리즘은 "스카이: 빛의 아이들"에서 부정행위를 감지하는 데 사용됩니다.

연구실에서는 "어게인스트 더 워터" 캐릭터의 댄스 안무 프로젝트에서도 게임 내 애니메이션의 성능을 개선하고 안무의 효율성을 높이기 위해 인공지능 기술을 적용했습니다.AI 기술의 지원으로 플레이어는 캐릭터의 댄스 동작을 직접 설정할 수 있을 뿐만 아니라, 장면과 조명까지 설정하여 자신의 창의력을 마음껏 발휘할 수 있습니다.

AI 안무 기술은 어떻게 구현되나요? 이 기술을 개발한 개발자의 자세한 설명을 들어보겠습니다. 

전통적인 안무는 비효율적입니다. 이를 어떻게 해결할 수 있을까요?

올해 12월 19일 수저우에서 열린 GTC China 2019에서 NetEase Leihuo Fuxi Lab의 수석 알고리즘 엔지니어인 Wen Xiang이 "《영상정보 안내 기반 지능형 안무 시스템》이 연설에서는 인공지능을 이용해 안무를 짜는 방법을 살펴보았습니다.

웬샹은 춤이 사용자들에게 쉽게 공감을 불러일으킬 수 있다고 소개했습니다.점점 더 많은 장면이 댄스 콘텐츠에 의존하게 될 것입니다.플레이어와 상호작용합니다. 예를 들어, 전자 게임이나 VR 상호작용과 같은 시나리오가 있습니다. Wen Xiang과 그의 지능형 애니메이션 팀도 희망합니다.기술을 활용하여 애니메이션 제작의 효율성을 개선하고 애니메이션의 성능을 향상시킵니다.

애니메이션 댄스 콘텐츠 제작을 위해두 가지 전통적인 방법이 있습니다.첫 번째는 전문 안무가가 음악에 맞춰 춤을 구성하고, 전문 장비를 사용해 춤 동작을 분리한 다음, 전문 애니메이터가 이를 수정해 최종 작품을 얻는 방식입니다. 또 다른 방법은 댄스 콘텐츠를 대량으로 제작해야 할 때, 숙련된 댄서가 음악을 편집한 다음 이미 만들어진 댄스 동작을 음악에 끼워 넣는 것입니다.

하지만 두 방법 모두 시간이 많이 걸리고 노동력도 많이 필요합니다.그래서 웬샹과 그의 팀은 AI를 사용하여 안무 과정을 최적화하고 음악에 따라 자동으로 어울리는 댄스 동작을 얻을 수 있을지 궁금해했습니다. 그들은 아이디어를 실천에 옮겼습니다. 

AI가 음악을 듣고 영상을 시청한 뒤 안무를 학습했다

팀이 처음에 직면한 문제는, 한편으로는 음악과 댄스 동작에 대한 데이터에 많은 노이즈가 포함되어 있다는 것이었습니다. 반면, 데이터 양은 기대에 미치지 못했습니다. 이러한 문제를 해결하기 위해 연구팀은 Tik Tok, YouTube 등의 플랫폼에 음악과 2D 골격 정보가 담긴 전문적인 안무 영상이 많이 있다는 사실을 발견했습니다. 그들은 기존의 2D 골격 알고리즘을 사용하여 음악의 2D 골격 정보를 분석하고 궁극적으로 이를 3D 동작과 일치시킬 수 있습니다. 이러한 아이디어를 바탕으로 AI 안무 프로젝트가 시작되었습니다.

 AI 안무 첫걸음: 음악-동작 번역 네트워크 

AI 안무의 첫 번째 단계는 음악과 춤 동작을 사용 가능한 데이터, 즉 오디오-모션 통역 네트워크로 변환하는 것입니다.

먼저, 유튜브에서 어반, 힙합, 중국 댄스 등 다양한 장르의 전문적인 댄스 영상을 일정량 선택합니다. 그런 다음 샘플 200개 정도를 채취하고 각 샘플은 3~6분 정도 소요됩니다. 2D 골격 감지, 데이터 전처리.

팀은 스토리보드, 오클루전, 빠른 카메라 움직임과 같은 2D 골격의 표시에 영향을 미치는 문제에 대한 몇 가지 윤리적 규칙을 추가했습니다. 처리 후 음악과 2D 골격 데이터를 얻습니다.

딥러닝을 사용하여 인간의 댄스 자세를 2D 골격 데이터로 추출그 후 팀은 다음을 사용했습니다.자세에 대한 자세한 예측을 위한 혼합 밀도 네트워크(MDN)음악에 맞춰 움직임을 조절합니다. 이 단계의 핵심은 음악에 맞는 2D 골격 움직임 정보를 얻는 것입니다.

 AI 안무 2단계: 단계 기반 3D 모션 매칭 

두 번째 단계는 3D 동작을 2D 골격 움직임 정보와 일치시키는 것인데, 이를 위상 기반 댄스 매칭이라고 합니다.

이 단계는 주로 행동 지향성 분석에 따른 매칭에 기초합니다. 여기의 요소에는 다음이 포함됩니다.전역 모션 특징 및 로컬 곡선 정보예를 들어, 상체나 하체의 곡선에 대한 정보입니다. 그리고 16개의 박자가 하나의 주기를 이룬다는 이론에 기초하여, 악장들은 조각조각으로 나뉘어집니다. 세분화 과정에서 무작위로 이루어지는 것이 아니라, 중단점 이 시점의 움직임은 종종 댄스 동작의 전환점으로 간주됩니다.

이런 식으로 댄스 동작을 더 많은 하위 동작으로 나눌 수 있습니다. 이러한 동작은 3D 동작 라이브러리의 동작 정보와 일치됩니다. 각 경기가 점수를 매기고, 가장 높은 점수를 얻은 액션이 최종적으로 가장 합리적이고 아름다운 출력 결과가 됩니다. 그런 다음 이러한 매칭을 통해 음악을 입력하여 완전한 3D 댄스 동작을 얻습니다.

 AI 안무의 세 번째 단계는 댄스를 보다 전문적으로 만들고 동작 변수를 추가하는 것입니다. 

액션 매칭을 완료하는 것이 전부는 아닙니다. 연구팀은 댄스 스톰, 스트리트 댄스 배틀과 같은 활동에서 전문가의 춤은 항상 약간씩 다르다는 것을 발견했습니다. 관찰을 통해 그들은 주요 이유가 다음과 같다는 것을 발견했습니다.음악 체크아웃어떤 측면에서는 전문가들 사이에 다른 견해가 있을 수 있습니다.

그래서 팀이 합류하게 되었어요애니메이션 워핑,AI 매칭도 이런 일을 할 수 있기를 바랄 뿐입니다. 따라서 가장 가까운 탭핑 음악 지점을 일치시킬 때 음악 지점을 늘리거나 압축하고 탭핑 지점에 접근할 때 액션 곡선을 더 가속화합니다.스텝핑 포인트에서 더 높은 수준의 적합성을 얻으세요.

AI 안무, 무한한 상상력을 불러일으키다

이 프로젝트가 적용되었다고 보고되었습니다.마케팅 도구, 게임게임 '니수이한'에서는 일부 플레이어가 AI 안무를 활용해 남성 게임 캐릭터를 매혹적으로 춤추게 해 네티즌들의 이목을 끌기도 했습니다.

같은 춤이 반복되는 것을 피하기 위해 연구팀은 출력 네트워크에 무작위성을 추가했습니다. 따라서 같은 음악이라도 다른 춤이 탄생하고, 플레이어는 작업 과정에서 '같은 옷을 입어야 한다'는 걱정을 할 필요가 없습니다.

AI 기술의 도움으로 중국 문화가 게임 요소로 변환되어 대중에게 소개되고 더 널리 전파될 수 있다는 점은 부인할 수 없습니다. 동시에 게임은 더욱 흥미진진해지고 더욱 개인화됩니다.

넷이즈의 푸시 인공지능 연구소 소장인 리런지에의 말을 빌리자면, "AI는 게임을 더 좋게 만들고 세상을 더 나은 곳으로 만든다."

-- 위에--