1. 튜토리얼 소개

HunyuanVideo-Foley는 2025년 8월 텐센트 훈위안에서 공식 출시 및 오픈소스 공개한 엔드투엔드 비디오 오디오 생성 모델입니다. 이 모델은 비디오 영상과 텍스트 설명을 입력으로 받아 주변 소리, 폴리 효과음, 배경 음악 등 고품질의 동기화된 영화적 음향 효과를 자동으로 생성하는 것을 목표로 합니다. HunyuanVideo-Foley는 기존 AI 생성 비디오의 한계인 "소리가 없는" 문제를 극복하고, 멀티모달 이해 능력을 통해 시각적 콘텐츠와 의미론적 지시를 동시에 분석하여 "시각적 정보를 이해하고, 텍스트를 읽고, 오디오를 인식하는" 몰입형 오디오 효과 생성을 구현합니다. 관련 연구 논문은 "..."이라는 제목으로 발표되었습니다.HunyuanVideo-Foley: 고음질 폴리 오디오 생성을 위한 표현 정렬을 이용한 멀티모달 확산".

이 튜토리얼에서는 RTX 4090 GPU 하나를 사용하여 연산을 수행합니다. 현재는 영어만 지원됩니다.

2. 프로젝트 예시

3. 작업 단계

1. 컨테이너를 시작하세요

2. 웹페이지에 접속 후 모델을 이용하실 수 있습니다.

"Bad Gateway" 메시지가 표시되면 모델이 초기화 중이라는 의미입니다. 2~3분 정도 기다린 후 페이지를 새로고침해 주세요. 웹페이지에서 생성된 결과를 더 쉽게 미리 보고 재생하려면 H.264로 인코딩된 비디오를 업로드하는 것이 좋습니다.

4. 토론

🖌️ 좋은 프로젝트를 발견하시면 배경 메시지로 추천해 주세요! 또한, 튜토리얼 교환 그룹도 개설했습니다. QR 코드를 스캔하여 [SD 튜토리얼]에 댓글을 남겨주시면 그룹에 참여하여 다양한 기술적인 문제를 논의하고 적용 결과를 공유해 드리겠습니다.↓

인용 정보

이 프로젝트에 대한 인용 정보는 다음과 같습니다.

@misc{shan2025hunyuanvideofoleymultimodaldiffusionrepresentation,
      title={HunyuanVideo-Foley: Multimodal Diffusion with Representation Alignment for High-Fidelity Foley Audio Generation}, 
      author={Sizhe Shan and Qiulin Li and Yutao Cui and Miles Yang and Yuehai Wang and Qun Yang and Jin Zhou and Zhao Zhong},
      year={2025},
      eprint={2508.16930},
      archivePrefix={arXiv},
      primaryClass={eess.AS},
      url={https://arxiv.org/abs/2508.16930}, 
}