GPU 컴퓨팅 에어드롭

단 20시간의 RTX 5090 컴퓨팅 리소스 $1 (가치 $7)

지금 사용하기

효과 예시

1. 튜토리얼 소개

EasyControl은 확산 변압기에 효율적이고 유연한 제어 기능을 추가하기 위해 설계된 프로젝트입니다. 이 프로젝트는 Tiamat AI, ShanghaiTech University, 싱가포르 국립대학교, 그리고 Liblib AI가 2025년에 공동 개발했습니다. 관련 연구 논문은 다음과 같습니다… EasyControl: 확산 변압기에 효율적이고 유연한 제어 기능 추가 확산 모델 아키텍처가 Unet 기반 구조에서 Diffusion Transformer(DiT)로 전환됨에 따라, 기존 DiT 생태계는 성숙한 플러그인 지원이 부족하고 효율성 병목 현상, 다중 조건 조정 시 충돌, 모델 적응성 부족 등의 문제에 직면해 있습니다. 이러한 문제를 해결하기 위해 EasyControl은 효율적이고 유연한 통합 조건부 DiT 프레임워크를 제안합니다. EasyControl은 경량 조건부 주입 LoRA 모듈, 위치 인식 학습 패러다임, 인과적 어텐션 메커니즘과 KV 캐싱 기술의 결합을 통해 모델 호환성을 크게 향상시켜 플러그 앤 플레이 기능과 무손실 스타일 제어를 지원합니다. 또한, 다양한 해상도, 화면비, 다중 조건 조합을 지원하여 생성 유연성을 높이고, 추론 효율성을 최적화하여 런타임 시 모델의 효율성을 향상시킵니다.

이 튜토리얼에서는 100개의 실제 아시아인 얼굴과 GPT-4o로 생성된 해당 지브리 스타일 이미지만을 사용하여 훈련한, 초상화를 하야오 미야자키 스타일의 예술 작품으로 변환할 수 있는 양식화된 Img2Img 제어 모델을 사용하며, 얼굴 특징을 보존하고 상징적인 애니메이션 미학을 적용합니다. 또한 EasyControl은 CFG-Zero 팀과 협력하여 이미지 충실도와 제어성을 더욱 개선했습니다. 또한 팀은 모델 성능을 최적화하고 더 많은 응용 프로그램 시나리오를 탐색할 계획입니다. 앞으로는 커뮤니티에서 추가적인 연구와 개발을 지원하기 위해 사전 훈련된 가중치와 훈련 코드가 더 많이 출시될 수도 있습니다.