HyperAIHyperAI

Command Palette

Search for a command to run...

내면의 목소리에 귀 기울이기: 중간 특성 피드백을 통한 ControlNet 훈련 조정

Nina Konovalova Maxim Nikolaev Andrey Kuznetsov Aibek Alanov

초록

텍스트-이미지 확산 모델에서 상당한 진전이 이루어졌음에도 불구하고, 생성된 출력의 정확한 공간 제어를 달성하는 것은 여전히 어려운 문제입니다. ControlNet은 보조 조건부 모듈을 도입하여 이 문제를 해결하려고 하였으며, ControlNet++는 최종 노이즈 제거 단계에만 적용되는 사이클 일관성 손실(cycle consistency loss)을 통해 정렬을 더욱 개선하였습니다. 그러나 이러한 접근 방식은 중간 생성 단계를 간과하여 그 효과가 제한적입니다. 우리는 모든 확산 단계에서 공간 일관성을 강제하는 학습 전략인 InnerControl을 제안합니다. 우리의 방법은 각 노이즈 제거 단계에서 중간 UNet 특징으로부터 입력 조건 신호(예: 윤곽선, 깊이)를 재구성하기 위해 경량 컨볼루션 프로브(lightweight convolutional probes)를 훈련시킵니다. 이러한 프로브는 매우 노이즈가 많은 잠재 변수(latents)에서도 신호를 효율적으로 추출하여, 훈련용 가상 지상 진리(pseudo ground truth) 조건을 제공합니다. 예측 조건과 목표 조건 사이의 차이를 전체 확산 과정 동안 최소화함으로써, 우리의 정렬 손실은 제어 충실도와 생성 품질 모두를 개선합니다. ControlNet++와 같은 기존 기술과 결합할 때, InnerControl은 다양한 조건 부여 방법(예: 윤곽선, 깊이)에서 최첨단 성능을 달성합니다.


AI로 AI 구축

아이디어에서 출시까지 — 무료 AI 코코딩, 즉시 사용 가능한 환경, 최적의 GPU 가격으로 AI 개발을 가속화하세요.

AI 협업 코딩
바로 사용 가능한 GPU
최적의 가격

HyperAI Newsletters

최신 정보 구독하기
한국 시간 매주 월요일 오전 9시 에 이번 주의 최신 업데이트를 메일로 발송합니다
이메일 서비스 제공: MailChimp
내면의 목소리에 귀 기울이기: 중간 특성 피드백을 통한 ControlNet 훈련 조정 | 문서 | HyperAI초신경