내면의 목소리에 귀 기울이기: 중간 특성 피드백을 통한 ControlNet 훈련 조정

텍스트-이미지 확산 모델에서 상당한 진전이 이루어졌음에도 불구하고, 생성된 출력의 정확한 공간 제어를 달성하는 것은 여전히 어려운 문제입니다. ControlNet은 보조 조건부 모듈을 도입하여 이 문제를 해결하려고 하였으며, ControlNet++는 최종 노이즈 제거 단계에만 적용되는 사이클 일관성 손실(cycle consistency loss)을 통해 정렬을 더욱 개선하였습니다. 그러나 이러한 접근 방식은 중간 생성 단계를 간과하여 그 효과가 제한적입니다. 우리는 모든 확산 단계에서 공간 일관성을 강제하는 학습 전략인 InnerControl을 제안합니다. 우리의 방법은 각 노이즈 제거 단계에서 중간 UNet 특징으로부터 입력 조건 신호(예: 윤곽선, 깊이)를 재구성하기 위해 경량 컨볼루션 프로브(lightweight convolutional probes)를 훈련시킵니다. 이러한 프로브는 매우 노이즈가 많은 잠재 변수(latents)에서도 신호를 효율적으로 추출하여, 훈련용 가상 지상 진리(pseudo ground truth) 조건을 제공합니다. 예측 조건과 목표 조건 사이의 차이를 전체 확산 과정 동안 최소화함으로써, 우리의 정렬 손실은 제어 충실도와 생성 품질 모두를 개선합니다. ControlNet++와 같은 기존 기술과 결합할 때, InnerControl은 다양한 조건 부여 방법(예: 윤곽선, 깊이)에서 최첨단 성능을 달성합니다.