효과 예시

1. 튜토리얼 소개

EasyControl은 확산 변압기에 효율적이고 유연한 제어 기능을 추가하는 것을 목표로 하는 프로젝트입니다. 2025년 Tiamat AI, 상하이기술대학교, 싱가포르국립대학교, Liblib AI가 공동으로 개발했습니다. 관련 논문 결과는 다음과 같습니다.EasyControl: 확산 변압기에 효율적이고 유연한 제어 기능 추가확산 모델 아키텍처가 Unet 기반 구조에서 DiT(Diffusion Transformer)로 전환됨에 따라 기존 DiT 생태계는 성숙한 플러그인 지원이 부족하고 효율성 병목 현상, 다중 조건 조정 충돌, 모델 적응성 부족 등의 문제에 직면합니다. 이러한 문제를 해결하기 위해 EasyControl은 효율적이고 유연한 통합 조건부 DiT 프레임워크를 제안합니다. EasyControl은 경량 조건부 주입 LoRA 모듈, 위치 인식 학습 패러다임을 도입하고 인과적 주의 메커니즘과 KV 캐시 기술을 결합하여 모델 호환성을 크게 향상시키고 플러그 앤 플레이 기능 및 무손실 스타일 제어를 지원합니다. 동시에 생성 유연성을 향상시키고 다양한 해상도, 종횡비 및 조건 조합을 지원할 수 있으며, 추론 효율성을 최적화하여 런타임 시 모델의 효율성을 높입니다.

이 튜토리얼에서는 100개의 실제 아시아인 얼굴과 GPT-4o로 생성된 해당 지브리 스타일 이미지만을 사용하여 훈련한, 초상화를 하야오 미야자키 스타일의 예술 작품으로 변환할 수 있는 양식화된 Img2Img 제어 모델을 사용하며, 얼굴 특징을 보존하고 상징적인 애니메이션 미학을 적용합니다. 또한 EasyControl은 CFG-Zero 팀과 협력하여 이미지 충실도와 제어성을 더욱 개선했습니다. 또한 팀은 모델 성능을 최적화하고 더 많은 응용 프로그램 시나리오를 탐색할 계획입니다. 앞으로는 커뮤니티에서 추가적인 연구와 개발을 지원하기 위해 사전 훈련된 가중치와 훈련 코드가 더 많이 출시될 수도 있습니다.

이 튜토리얼에서는 EasyControl을 데모로 사용하고, 컴퓨팅 리소스에는 A6000을 사용합니다.

2. 작업 단계

1. 컨테이너 시작 후 API 주소를 클릭하여 웹 인터페이스로 진입합니다.

"BadGateway"가 표시되면 모델이 초기화 중임을 의미합니다. 모델이 크기 때문에 1~2분 정도 기다리신 후 페이지를 새로고침해 주세요.

2. 웹사이트에 접속하시면 바로 이용이 가능합니다.

사용 방법

데모

교류 및 토론

🖌️ 고품질 프로젝트를 발견하시면, 백그라운드에 메시지를 남겨 추천해주세요! 또한, 튜토리얼 교환 그룹도 만들었습니다. 친구들의 QR코드 스캔과 [SD 튜토리얼] 댓글을 통해 그룹에 가입하여 다양한 기술 이슈에 대해 논의하고 신청 결과를 공유해 주시기 바랍니다.↓