HyperAI

1. 튜토리얼 소개

Wan2.2-S2V-14B는 Alibaba Tongyi Wanxiang 팀이 2025년 8월 오픈소스로 공개한 오디오 기반 비디오 생성 모델입니다. Wan2.2-S2V-14B는 정지 이미지와 오디오 클립만 있으면 최대 몇 분 분량의 영화 수준의 디지털 휴먼 비디오를 생성할 수 있으며, 다양한 이미지 유형과 프레임을 지원합니다. 사용자는 텍스트 프롬프트를 입력하여 비디오 화면을 제어하고 더욱 풍부한 영상을 만들 수 있습니다. 이 모델은 여러 혁신적인 기술을 통합하여 복잡한 장면에 대한 오디오 기반 비디오 생성을 구현하고, 긴 비디오 생성과 다중 해상도 학습 및 추론을 지원합니다. 이 모델은 디지털 휴먼 라이브 방송, 영화 및 TV 제작, AI 교육 등 다양한 분야에서 널리 사용되고 있습니다. 관련 논문 결과는 다음과 같습니다.Wan-S2V: 오디오 기반 영화 비디오 생성".

이 튜토리얼에서 사용된 컴퓨팅 리소스는 RTX A6000 카드 1개입니다.

2. 효과 표시

3. 작업 단계

1. 컨테이너를 시작하세요

2. 사용 단계

"잘못된 게이트웨이"가 표시되면 모델이 초기화 중임을 의미합니다. 모델이 크기 때문에 약 2~3분 정도 기다리신 후 페이지를 새로고침해 주시기 바랍니다.

참고: 추론 단계가 많을수록 생성되는 효과는 더 좋지만, 추론 생성 시간이 길어집니다. 추론 단계를 적절하게 설정하세요. (예 1: 추론 단계가 10일 경우 동영상 생성에 약 15분이 소요됩니다.)

구체적인 매개변수:

해상도(H*W): 해상도.
세그먼트당 프레임 수: 비디오가 생성될 때마다 처리되거나 생성되는 연속 프레임 수를 지정합니다.
유도 계수: 생성 프로세스가 입력 프롬프트나 조건(예: 텍스트, 참조 이미지)을 얼마나 강하게 따르는지 제어합니다.
샘플링 단계 수: 확산 모델 생성 프로세스에 사용되는 반복 횟수를 지정합니다. 확산 모델은 일반적으로 순수한 노이즈로 시작하여 최종 결과를 얻기 위해 여러 단계의 노이즈 제거 과정을 거칩니다.
소음 이동: 확산 과정에서 소음의 특성을 조정하는 데 사용되며, 소음의 분포나 강도를 변경하는 것과 같습니다.
난수 시드(-1 난수): 난수 생성기의 초기 상태를 제어합니다.
참조 이미지를 첫 번째 프레임으로 사용: 부울 옵션입니다. 이 옵션을 활성화하면 사용자가 제공한 참조 이미지가 생성된 비디오의 시작 프레임(첫 번째 프레임)으로 사용됩니다.
비디오 메모리를 절약하기 위한 모델 오프로딩(느림): 비디오 메모리를 절약하기 위한 모델 오프로딩(느림).

4. 토론

🖌️ 고품질 프로젝트를 발견하시면, 백그라운드에 메시지를 남겨 추천해주세요! 또한, 튜토리얼 교환 그룹도 만들었습니다. 친구들의 QR코드 스캔과 [SD 튜토리얼] 댓글을 통해 그룹에 가입하여 다양한 기술 이슈에 대해 논의하고 신청 결과를 공유해 주시기 바랍니다.↓

인용 정보

이 프로젝트에 대한 인용 정보는 다음과 같습니다.

@article{wan2025,
      title={Wan: Open and Advanced Large-Scale Video Generative Models}, 
      author={Team Wan and Ang Wang and Baole Ai and Bin Wen and Chaojie Mao and Chen-Wei Xie and Di Chen and Feiwu Yu and Haiming Zhao and Jianxiao Yang and Jianyuan Zeng and Jiayu Wang and Jingfeng Zhang and Jingren Zhou and Jinkai Wang and Jixuan Chen and Kai Zhu and Kang Zhao and Keyu Yan and Lianghua Huang and Mengyang Feng and Ningyi Zhang and Pandeng Li and Pingyu Wu and Ruihang Chu and Ruili Feng and Shiwei Zhang and Siyang Sun and Tao Fang and Tianxing Wang and Tianyi Gui and Tingyu Weng and Tong Shen and Wei Lin and Wei Wang and Wei Wang and Wenmeng Zhou and Wente Wang and Wenting Shen and Wenyuan Yu and Xianzhong Shi and Xiaoming Huang and Xin Xu and Yan Kou and Yangyu Lv and Yifei Li and Yijing Liu and Yiming Wang and Yingya Zhang and Yitong Huang and Yong Li and You Wu and Yu Liu and Yulin Pan and Yun Zheng and Yuntao Hong and Yupeng Shi and Yutong Feng and Zeyinzi Jiang and Zhen Han and Zhi-Fan Wu and Ziyu Liu},
      journal = {arXiv preprint arXiv:2503.20314},
      year={2025}
}