Nous présentons ControlNet, une architecture de réseau neuronal permettant d'ajouter des contrôles de conditionnement spatiaux à des modèles de diffusion d'images préentraînés et de grande taille. ControlNet verrouille les modèles de diffusion prêts pour la production et réutilise leurs couches d'encodage profondes et robustes, préentraînées avec des milliards d'images, comme un puissant squelette pour apprendre un ensemble diversifié de contrôles conditionnels. L'architecture neuronale est connectée par des "convolutions nulles" (couches de convolution initialisées à zéro) qui augmentent progressivement les paramètres à partir de zéro et garantissent que aucun bruit nuisible ne puisse affecter le fine-tuning. Nous testons divers contrôles de conditionnement, tels que les contours, la profondeur, la segmentation, la posture humaine, etc., en utilisant Stable Diffusion avec une seule ou plusieurs conditions, avec ou sans prompts. Nous montrons que l'entraînement des ControlNets est robuste avec des jeux de données petits (<50k) et grands (>1m). Des résultats exhaustifs démontrent que ControlNet pourrait faciliter une utilisation plus large pour contrôler les modèles de diffusion d'images.