⚡️피라미드 흐름⚡️: 흐름 매칭 기반 학습 효율적인 자기회귀 비디오 생성 모델

1. 튜토리얼 소개

피라미드 플로우(Pyramid Flow)는 베이징대학교 콰이쇼우(Kuaishou)와 베이징우정통신대학교가 공동으로 설립한 연구팀이 2024년에 출시한 오픈소스 초고화질 비디오 생성 모델입니다. 관련 연구 논문으로는 다음과 같은 것들이 있습니다... 효율적인 비디오 생성 모델링을 위한 피라미드형 흐름 매칭 이 모델은 텍스트 설명을 기반으로 최대 10초 길이, 최대 1280×768 해상도, 초당 24프레임의 고화질 영상을 생성할 수 있습니다. 피라미드 플로우의 핵심 기술은 피라미드 스트림 매칭 알고리즘으로, 영상 생성 과정을 해상도별로 여러 단계로 나누어 생성 효율과 품질을 향상시킵니다.

이 튜토리얼에서는 스트림 매칭을 기반으로 한 학습 효율적인 자기회귀 비디오 생성 방법을 소개합니다. 오픈 소스 데이터 세트만으로 학습함으로써 768p 해상도와 24 FPS로 10초 분량의 고품질 비디오를 생성할 수 있으며, 자연스럽게 이미지-비디오 생성을 지원합니다. 이 튜토리얼은 다음 모델과 기능을 지원합니다.

두 가지 모델 체크포인트:

• 768p: 24FPS로 최대 10초 분량의 비디오 지원
• 384p: 24FPS로 5초 분량의 영상 생성 지원

두 가지 기능:

• 빈센트 비디오(text_to_video)
• 이미지에서 비디오로 생성(image_to_video)

2. 작업 단계

컨테이너를 시작한 후 API 주소를 클릭하여 웹 인터페이스로 들어갑니다.

1. 텍스트를 비디오로 변환(text_to_video)

선택하다 텍스트-비디오 기능, 아래에 필요에 따라 프롬프트 단어와 관련 설정을 입력하세요.

• 프롬프트: 비디오 생성을 위한 가이드로 사용되는 텍스트 프롬프트. 128자를 초과할 수 없습니다.
• 지속 시간: 생성된 비디오의 길이, 지속 시간=16: 5초, 임시=31: 10초.
• guidance_scale: 시각적 품질을 제어합니다. 우리는 텍스트-비디오 생성 중에 768p 체크포인트의 경우 [7, 9]의 지침을 사용하고 384p 체크포인트의 경우 7의 지침을 사용할 것을 제안합니다.
• video_guidance_scale: 동작을 제어합니다. 값이 클수록 역동성이 증가하고 자기 회귀 생성 저하가 완화되는 반면, 값이 작을수록 비디오가 안정화됩니다. 10초 영상 생성의 경우 7단계 안내 척도와 5단계 영상 안내 척도를 사용하는 것이 좋습니다. 테스트 결과, 768p 체크포인트(대형 모델)를 사용하여 5초 영상을 생성하는 데 약 4분이 걸리고, 384p 모델(소형 모델)을 사용하여 5초 영상을 생성하는 데 약 2분이 걸립니다.  

2. 이미지-비디오 생성(image_to_video)

선택하다 이미지를 비디오로 기능, 아래에 필요에 따라 프롬프트 단어와 관련 설정을 입력하세요.

• input_image: 원본 이미지 업로드
• 프롬프트: 비디오 생성을 위한 가이드로 사용되는 텍스트 프롬프트. 128자를 초과할 수 없습니다.
• 지속 시간: 생성된 비디오의 길이, 지속 시간=16: 5초, 임시=31: 10초.
• video_guidance_scale: 동작을 제어합니다. 값이 클수록 역동성이 증가하고 자기 회귀 생성 저하가 완화되는 반면, 값이 작을수록 비디오가 안정화됩니다. 10초 영상 생성의 경우 7단계 안내 척도와 5단계 영상 안내 척도를 사용하는 것이 좋습니다. 테스트 결과, 768p 체크포인트(대형 모델)를 사용하여 5초 영상을 생성하는 데 약 3분이 걸리고, 384p 모델(소형 모델)을 사용하여 5초 영상을 생성하는 데 약 2분이 걸립니다.

교류 및 토론

🖌️ 고품질 프로젝트를 발견하시면, 백그라운드에 메시지를 남겨 추천해주세요! 또한, 튜토리얼 교환 그룹도 만들었습니다. 친구들의 QR코드 스캔과 [SD 튜토리얼] 댓글을 통해 그룹에 가입하여 다양한 기술 이슈에 대해 논의하고 신청 결과를 공유해 주시기 바랍니다.↓