DynamiCrafter를 사용하여 정적 이미지를 사실적인 동영상으로 변환하기

프로젝트 소개

기존의 이미지 애니메이션 기술은 주로 무작위 또는 특정 도메인의 움직임(예: 사람의 머리카락이나 신체 동작 등)을 활용하여 비디오와 유사한 애니메이션 효과를 생성하는 데 집중되어 있었으므로, 일반적인 시각 콘텐츠는 이러한 기술에 의해 제한되었습니다.

반면, DynamiCrafter는 텍스트 조건부 영상 생성 방식을 채택하고 있으며, 입력된 전체 이미지와 초기 노이즈를 연결하여 확산 모델(Diffusion Model)의 입력으로 사용합니다. 이를 통해 시각적으로 더 우수하면서도 논리적으로 일관성 있는 동영상 애니메이션 결과를 생성합니다.

이 튜토리얼에서는 간단한 몇 줄의 명령어로 프로젝트를 실행해 보며, 사용자가 직접 기술을 체험하고 해당 프로젝트의 작동 효과를 체감할 수 있도록 안내합니다.

본 튜토리얼에서는 두 가지 사용 방법을 지원합니다:

1. 이미지 및 텍스트 프롬프트를 사용하여 동영상 생성;
2. 시작 프레임, 종료 프레임 및 프롬프트를 사용하여 동영상 생성.

참고: 두 방법은 컨테이너 내에서 동시에 실행될 수 없습니다. 하나의 방식이 완료되면 터미널 프로세스를 종료해야 하며, 다른 방식으로 전환하려면 새로운 명령어를 다시 입력해야 합니다.

아래에는 주요 효과 예시와 실행 단계가 나와 있습니다.

효과 보기

실행 방법

1. 텍스트 프롬프트로 동영상 생성하기

1. 디렉터리 이동

cd DynamiCrafter

2. 명령어 실행 후 DynamiCrafter 메인 디렉토리로 진입하며, 이어지는 커맨드 라인에서 스크립트 실행 명령어를 입력하세요:

python gradio_app.py

3. 이때 컨테이너는 스크립트에 따라 자동으로 프로그램을 구동하며, 인터페이스 상에서 포트 8080이 표시되면 오른쪽의 API 주소를 복사하여 새 브라우저 탭에서 열어주세요(실명 인증 필요).

4. 웹페이지 접속 후 아래 지침에 따라 작업 진행

로컬 사진을 업로드하거나, ‘Prompts’ 필드에 관심 있는 키워드를 입력하여 하이퍼파라미터를 조정하면 원하는 동영상을 생성할 수 있습니다.

2. 시작 프레임·종료 프레임과 프롬프트를 이용해 동영상 만들기

프로젝트의 또 다른 동영상 생성 스타일을 경험해보고 싶다면 다음 절차대로 진행하시면 됩니다.

1. 먼저 이전에 접근했던 웹사이트 주소가 출력되었던 터미널 페이지로 돌아가세요. 마우스 왼쪽 버튼으로 터미널 창을 선택한 뒤 키보드에서 “Ctrl+C”를 눌러 현재 작업을 중단하십시오. 이후 터미널 명령줄에 다음과 같이 입력합니다:

python gradio_app_interp_and_loop.py

2. 작업이 성공적으로 시작되면 오른쪽에 나타나는 API 주소를 복사해서 새로 열린 브라우저 탭에서 여십시오.

웹사이트 화면에는 아래와 같은 내용이 표시됩니다:

시작 이미지와 끝 이미지를 각각 하나씩 업로드하고, ‘프롬프트(Prompts)’란에 설명문을 작성한 후 매개변수를 설정하면 자신만의 움직이는 그림이나 동영상을 만들어낼 수 있습니다.[JIALIU_0]