LTX-Video의 ltxv-13b-0.9.7-distilled는 Lightricks가 2025년 5월 14일에 발표한 증류 모델의 최신 버전입니다. 이 모델은 변압기와 Video-VAE 기술을 사용하여 고해상도 비디오를 효율적으로 생성합니다. 우리는 Nvidia H100 GPU를 사용하여 단 2초 만에 768×512 해상도의 5초짜리 24fps 비디오를 생성했으며, 이는 비슷한 규모의 모든 기존 모델보다 우수한 성능입니다. 또한 LTX-Video는 텍스트에서 비디오로, 이미지에서 비디오로, 확장된 비디오, 다중 조건을 사용한 비디오 생성 등 다양한 비디오 생성 방법을 지원합니다. 관련 논문 결과는 다음과 같습니다.LTX-Video: 실시간 비디오 잠재 확산".
이 튜토리얼에서는 단일 A6000 컴퓨팅 리소스를 사용하고 테스트를 위해 텍스트-비디오 및 이미지-비디오 생성의 두 가지 예를 제공합니다.
2. 효과 표시
텍스트를 비디오로:
이미지를 비디오로:
3. 작업 단계
1. 컨테이너를 시작하세요
"잘못된 게이트웨이"가 표시되면 모델이 초기화 중임을 의미합니다. 모델이 크기 때문에 약 2~3분 정도 기다리신 후 페이지를 새로고침해 주시기 바랍니다.
2. 사용 예
프롬프트는 영어만 지원합니다.
1. 이미지-비디오 변환
구체적인 매개변수:
이미지 업로드: 여기에서 비디오 생성의 시작점으로 이미지를 업로드할 수 있습니다.
프롬프트: 여기에 비디오 콘텐츠를 설명하는 텍스트를 입력하면, 모델은 이 텍스트를 기반으로 비디오를 생성합니다.
비디오 길이: 생성된 비디오의 길이를 선택하세요.
부정적 프롬프트: 여기서는 영상에 나타나지 않기를 원하는 요소나 기능을 입력할 수 있으며, 이를 통해 원치 않는 효과가 생성되는 것을 방지할 수 있습니다.
시드: 이 숫자는 비디오 생성의 무작위성을 결정합니다.
지도 척도(CFG): 프롬프트가 출력에 얼마나 많은 영향을 미치는지 제어합니다. 값이 높을수록 영향력이 커집니다.
높이: 높이는 32로 나누어 떨어져야 합니다.
너비: 너비는 32로 나누어 떨어져야 합니다.
결과
2. 텍스트-비디오 변환
구체적인 매개변수:
프롬프트: 여기에 비디오 콘텐츠를 설명하는 텍스트를 입력하면, 모델은 이 텍스트를 기반으로 비디오를 생성합니다.
비디오 길이: 생성된 비디오의 길이를 선택하세요.
부정적 프롬프트: 여기서는 영상에 나타나지 않기를 원하는 요소나 기능을 입력할 수 있으며, 이를 통해 원치 않는 효과가 생성되는 것을 방지할 수 있습니다.
시드: 이 숫자는 비디오 생성의 무작위성을 결정합니다.
지도 척도(CFG): 프롬프트가 출력에 얼마나 많은 영향을 미치는지 제어합니다. 값이 높을수록 영향력이 커집니다.
높이: 높이는 32로 나누어 떨어져야 합니다.
너비: 너비는 32로 나누어 떨어져야 합니다.
결과 출력
4. 토론
🖌️ 고품질 프로젝트를 발견하시면, 백그라운드에 메시지를 남겨 추천해주세요! 또한, 튜토리얼 교환 그룹도 만들었습니다. 친구들의 QR코드 스캔과 [SD 튜토리얼] 댓글을 통해 그룹에 가입하여 다양한 기술 이슈에 대해 논의하고 신청 결과를 공유해 주시기 바랍니다.↓
인용 정보
이 프로젝트에 대한 인용 정보는 다음과 같습니다.
@article{HaCohen2024LTXVideo,
title={LTX-Video: Realtime Video Latent Diffusion},
author={HaCohen, Yoav and Chiprut, Nisan and Brazowski, Benny and Shalem, Daniel and Moshe, Dudu and Richardson, Eitan and Levin, Eran and Shiran, Guy and Zabari, Nir and Gordon, Ori and Panet, Poriya and Weissbuch, Sapir and Kulikov, Victor and Bitterman, Yaki and Melumian, Zeev and Bibi, Ofir},
journal={arXiv preprint arXiv:2501.00103},
year={2024}
}
