온라인 튜토리얼丨류창둥 디지털 휴먼 데뷔 거래량 5000만 돌파! GeneFace++를 사용하여 실시간으로 말하는 디지털 인간을 생성하세요
최근, JD.com 창업자 류창둥은 자신을 "구매판매 동거 AI 디지털 휴먼"으로 변신시켜 JD.com 가전, 가정용품, 슈퍼마켓의 구매판매 라이브 방송실에서 라이브 방송 데뷔를 했습니다. 라이브 방송은 2,000만 명 이상의 시청자를 모았고, 총 거래 금액은 5,000만 달러를 돌파했습니다.이는 전자상거래 라이브 스트리밍 분야에서 AI 디지털 인력의 엄청난 잠재력을 여실히 보여줍니다.
이미지 출처: Guanchazhe.com
"구매판매 동거 AI 디지털 휴먼"은 류창둥의 이미지와 음성을 학습하고 훈련하여 류창둥의 개인화된 표정, 자세, 제스처, 음색 특성을 정확하게 표현할 수 있는 것으로 알려졌습니다. 120초 이내에 육안으로 디지털 인간과 실제 사람을 구분하는 것은 어렵습니다.
IDC는 "2022년 중국 AI 디지털 휴먼 시장 현황 및 기회 분석"에서 2026년까지 중국 AI 디지털 휴먼 시장 규모가 102억 4천만 위안에 이를 것으로 전망했습니다. AI 디지털 휴먼은 복제 가능하고, 비용이 저렴하며, 24시간 연중무휴로 작동할 수 있다는 점을 강조해야 합니다. 셀프 미디어 운영, 단편 영상 판매, 디지털 휴먼 방송, 다양한 작업 완료를 돕는 등의 시나리오에 이를 적용하는 것이 미래의 주요 트렌드가 될 수 있습니다.
이 분야에서는 오디오 기반 대화 얼굴 생성이 화제입니다. 이 기술을 사용하면 음성 클립만 입력하면 대상 인물의 얼굴이 말하는 영상을 제작할 수 있으며, 이를 통해 실제 사람이 출연하기 어렵거나 출연할 수 없는 장면에 대상 인물이 참석하는 데 도움이 될 수 있습니다. 안에,GeneFace++는 입술 동기화, 비디오 품질, 시스템 효율성을 개선하여 실시간 대화면 생성을 달성한 최초의 기술로, 일반적이고 안정적인 실시간 오디오 기반 3D 대화면 생성 기술입니다.
구체적으로 GeneFace++는 오디오-모션 모듈과 즉각적인 모션-비디오 모듈을 독립적으로 훈련합니다. 학습 과정에는 오디오와 얼굴 움직임 간의 매핑 학습, 도메인 적응성을 위한 전이 학습, 랜드마크 기반 3D 인물 실시간 렌더링 기술 학습이 포함되며, 궁극적으로 모델은 임의의 오디오를 기반으로 고품질의 실시간 입술 동기화 3D 대화 얼굴 비디오를 생성할 수 있습니다.
하지만 사실적으로 입술 동기화를 하는 디지털 인간을 만드는 것은 쉬운 일이 아닙니다. 초보자가 빠르게 시작하고 일반적인 환경 구성 및 기술적 어려움을 피할 수 있도록 돕기 위해하이퍼AI슈퍼 뉴로"GeneFace++ 디지털 인간 데모" 튜토리얼이 출시되었습니다.이 튜토리얼은 모든 사람을 위한 환경을 구축하고 디지털 인간을 만드는 과정을 단순화했습니다. 환경 구성, 하드웨어 요구 사항, 버전 호환성 등의 문제에 대해 걱정할 필요가 없습니다. 복제를 클릭하면 한 번의 클릭으로 시작되고, 그 효과는 매우 사실적입니다!
HyperAI Hyperneural 공개 튜토리얼 주소:
https://hyper.ai/tutorials/31157
사전 준비
3~5분 분량의 영상을 준비하세요.
* 그림은 선명하고 정사각형 크기여야 합니다(가급적 512*512).
* 모델이 배경을 더 잘 추출할 수 있도록 비디오 배경은 다른 간섭 요소가 없는 단색이어야 합니다.
* 영상 속 인물의 얼굴은 선명하고 비교적 크게 표현되어야 하며 정면에 위치해야 합니다. 촬영된 이미지는 어깨 위에 있는 것이 바람직하고, 사람들의 움직임은 너무 크거나 작아서는 안 됩니다.
* 영상 속 오디오에는 노이즈가 없습니다.
* 영상 제목은 영어로 하는 것이 가장 좋습니다.
참고: 이 영상은 모델 학습에 사용됩니다. 영상 품질이 좋을수록 결과도 좋아집니다. 그러므로 데이터 준비 부분에 더 많은 시간과 노력을 투자할 필요가 있습니다.
다음은 비디오 화면의 예입니다.
데모 실행
1. hyper.ai에 로그인하고 튜토리얼 페이지에서 GeneFace++ Digital Human Demo를 선택합니다. 이 튜토리얼을 온라인으로 실행해보세요.
2. 페이지가 이동한 후 오른쪽 상단의 "복제"를 클릭하여 튜토리얼을 자신의 컨테이너로 복제합니다.
3. 오른쪽 하단에 있는 "다음: 해시레이트 선택"을 클릭합니다.
4. 이동 후 "NVIDIA GeForce RTX 4090"을 선택하고 "다음: 검토"를 클릭합니다.신규 사용자는 아래 초대 링크를 사용하여 등록하고 RTX 4090 4시간 + CPU 자유 컴퓨팅 시간 5시간을 얻으세요!
HyperAI 독점 초대 링크(복사하여 브라우저에서 열어서 등록하세요):
https://openbayes.com/console/signup?r=6bJ0ljLFsFh_Vvej
5. "계속"을 클릭하고 리소스가 할당될 때까지 기다리세요. 첫 번째 복제 과정은 약 3~5분 정도 걸립니다. 상태가 "실행 중"으로 변경되면 "작업 공간 열기"를 클릭합니다. 문제가 10분 이상 지속되고 시스템이 여전히 "리소스 할당 중" 상태인 경우 컨테이너를 중지했다가 다시 시작해 보세요. 재시작해도 문제가 해결되지 않으면 공식 웹사이트의 플랫폼 고객 서비스에 문의하세요.
6. 작업 공간을 연 후 시작 페이지에서 새 터미널 세션을 만든 다음 명령줄에 다음 코드를 입력하여 환경을 시작합니다. 그냥 복사해서 붙여넣으세요.
conda env export -p /output/geneface
conda 활성화 /output/geneface
7. 잠시 기다린 후 터미널에서 다음 명령을 실행하여 환경 변수를 구성합니다.
소스 bashrc
8. 잠시 기다린 후, 명령줄에 다음 코드를 입력하여 WebUI를 시작하고 약 1분 정도 기다리세요.
/openbayes/home/start_web.sh
9. 명령줄에 "로컬 URL에서 실행 중: https://0.0.0.0:8080"이 표시되면 오른쪽에 있는 API 주소를 브라우저 주소 표시줄에 복사하여 GeneFace++ 인터페이스에 액세스합니다.API 주소 접근 기능을 이용하기 위해서는 이용자는 실명인증을 완료해야 합니다.
효과 표시
1. GeneFace++ 인터페이스를 열고 미리 준비한 비디오를 불러온 후, 학습 단계 수를 "50000"으로 선택하고 "학습"을 클릭하여 학습을 시작합니다.
참고: 이 단계를 완료하려면 2시간 이상 기다려야 합니다. 이 기간 동안, 교육이 정상적으로 진행되는지 1~2회 확인하시면 교육이 중단된 후 대기하는 시간 손실을 방지하실 수 있습니다.
여기서 학습 단계 수는 기본적으로 "50000"입니다. 50000단계의 학습 결과가 좋지 않을 경우, 학습 데이터를 변경하여 다시 학습해 주시기 바랍니다.
2. "Train Success"가 나타나면 GeneFace++ 인터페이스를 새로 고칩니다.
3. GeneFace++ 인터페이스에서 왼쪽의 오디오를 업로드하고 가운데 모듈의 매개변수는 수정하지 마세요.
오른쪽 모델에서 오디오 드라이버 모델 "model_ckpt_steps_400000.ckpt"를 선택합니다.
50,000단계 이하의 훈련에 해당하는 몸통 모델 "model_ckpt_steps_50000.ckpt"를 선택합니다.
50,000단계 이하의 학습에 해당하는 헤드 모델 "model_ckpt_steps_50000.ckpt"를 선택합니다.
4. "생성"을 클릭하여 효과를 생성합니다.
5. 추가 교육을 원하신다면. 해당 모델 아래에 있는 head_done 폴더와 torso_done 폴더를 삭제합니다.
6. 이전 교육 비디오를 업로드하고 비디오 파일 이름은 변경하지 않고 교육 단계 수를 늘린 후 "교육"을 클릭하여 교육을 시작합니다.
7. 훈련이 완료되면 GeneFace++ 인터페이스에서 기본 오디오 기반 모델, 150,000단계 훈련에 해당하는 몸통 모델, 150,000단계 훈련에 해당하는 머리 모델을 선택합니다. 최종 효과를 생성하려면 "생성"을 클릭하세요.
현재 HyperAI 공식 웹사이트에서는 Jupyter Notebook 형태로 구성된 수백 개의 선택된 머신 러닝 관련 튜토리얼을 출시했습니다.
관련 튜토리얼과 데이터 세트를 검색하려면 링크를 클릭하세요.
위에 적힌 내용은 이번에 편집자가 공유한 내용의 전부입니다. 이 내용이 여러분에게 도움이 되기를 바랍니다. 다른 흥미로운 튜토리얼을 배우고 싶으시다면, 메시지를 남겨주시거나 프로젝트 주소를 개인 메시지로 보내주세요. 편집자는 당신에게 맞는 코스를 맞춤화하고 AI와 함께 플레이하는 방법을 가르쳐 줄 것입니다.
참고문헌:
https://blog.csdn.net/c9Yv2cf9I06K2A9E/article/details/128895215