💡 HiDiffusion: 사전 학습된 확산 모델에서 고해상도 창의성과 효율성 극대화

HiDiffusion 소개

HiDiffusion은 Megvii Technology에서 개발한 혁신적인 프레임워크로, 사전 훈련된 확산 모델을 사용하여 고해상도 이미지를 생성하는 데 있어 창의성과 효율성을 향상시키는 것을 목표로 합니다. 이는 학습 없이도 사전 학습된 확산 모델의 해상도와 속도를 향상시킬 수 있는 방법입니다. 다양한 사전 학습된 확산 모델에 HiDiffusion을 적용하면 영상 생성 해상도를 4096×4096으로 높일 수 있을 뿐만 아니라, 영상 생성 속도도 1.5~6배까지 높일 수 있습니다. 이러한 접근 방식은 객체 복제와 높은 계산 부담 문제를 해결할 뿐만 아니라, 고해상도 이미지를 생성하는 작업에서도 뛰어난 성과를 달성합니다.

이 프로젝트는 텍스트를 이미지로, 이미지를 이미지로, 이미지 복원을 포함한 다양한 작업을 지원합니다.

효과 예시

(더 빠르고, 더 나은 이미지 세부 정보)

(ControlNet 및 인페인팅 작업의 2K 결과)

사용 방법

1. 먼저 컨테이너를 복제하고 단계에 따라 컨테이너를 시작합니다.

2. 생성된 API 주소를 브라우저에 복사하여 사용하세요.

3. 사용 방법 3가지

HiDiffusion은 다음 세 가지 방법에 적용 가능하며, 모두 모델에 해당합니다. 메서드를 사용하는 경우, 먼저 모델을 로드한 다음 이미지를 생성합니다. 방법을 전환하면 모델이 다시 로드됩니다.

3.1 방법 1: 텍스트를 이미지로

긍정적 프롬프트 단어와 역 프롬프트 단어를 입력하여 이미지를 생성합니다.

긍정적인 프롬프트 단어: 이미지에서 보고 싶은 것을 설명합니다.

예를 들어: 폐허 한가운데 우뚝 솟은 돌 골렘이 깨어나고, 몸의 틈새에서 덩굴과 꽃이 돋아납니다.

역방향 프롬프트 단어: 이미지에 나타나길 원하지 않는 콘텐츠를 설명하고, 불필요한 요소를 제외하여 생성된 결과를 최적화하는 데 사용됩니다.

예를 들어: 흐릿한, 못생긴, 중복된, 형편없이 그려진 얼굴, 기형적인, 모자이크, 인공적인, 나쁜 팔다리.

사용 단계 및 생성 효과는 아래 그림과 같습니다.

3.2 방법 2: ControlNet을 사용하여 그래프 생성

컨트롤넷: 프롬프트 단어에 따라 원본 이미지의 윤곽선을 기반으로 이미지를 생성합니다. 먼저 원본 이미지의 윤곽선을 추출한 후, 이 윤곽선을 기반으로 윤곽선을 생성합니다. 동작은 아래 그림과 같습니다.

3.3 방법 3: 이미지 인페인팅

원본 이미지: 복구할 이미지를 입력하세요

수리 구역: 수리할 영역을 입력합니다. 이는 실제로 이진 이미지이며, 흰색 영역은 수리할 영역이고 검은색 영역은 고정된 영역입니다. 수리할 때는 정단의 지시에 따라 흰색 부분을 수정하세요!

예를 들어, 긍정적인 입력 프롬프트 단어는 다음과 같습니다. 가죽 조종사 모자와 고글을 착용하고 손에 황동 망원경을 든 스팀펑크 탐험가가 우뚝 솟은 고대 나무들 사이에 서 있고, 나무의 뿌리는 복잡한 기어와 파이프로 얽혀 있습니다. (가죽 조종사 모자와 고글을 착용하고 손에 황동 망원경을 든 스팀펑크 탐험가가 우뚝 솟은 고대 나무들 사이에 서 있고, 나무의 뿌리에는 복잡한 기어와 파이프가 얽혀 있습니다.)

역 프롬프트 단어는 다음과 같습니다: 흐릿한, 못생긴, 중복된, 형편없이 그려진 얼굴, 기형의, 모자이크, 인공물, 나쁜 팔다리.