PixelDiT2 : l'IA d'URochester et NVIDIA contrôle les pixels
Des chercheurs de l’Université de Rochester et de NVIDIA ont présenté PixelDiT2, un modèle d’intelligence artificielle destiné à améliorer la génération et la modification d’images en travaillant directement au niveau des pixels. La plupart des systèmes modernes de génération d’images à partir de texte reposent sur une diffusion en espace latent. Cette méthode compresse le contenu d’une image en une représentation plus simple pour accélérer le calcul, mais elle réduit aussi la maîtrise fine sur les détails visuels. Ainsi, lorsqu’un utilisateur demande à une IA de corriger un petit élément, comme la forme de lunettes ou la couleur d’un objet, le modèle peut involontairement modifier d’autres parties non pertinentes de l’image. Pour résoudre ce problème, Jiebo Luo, professeur à l’Université de Rochester, et ses collaborateurs, dont le doctorant et stagiaire NVIDIA Yongsheng Yu et l’ancien docteur Wei Xiong, ont développé une approche fondée sur la diffusion en espace de pixels. Leur premier modèle, PixelDiT, a été présenté lors de la conférence IEEE/CVF sur la vision par ordinateur et la reconnaissance des formes en 2026. Il permet de cibler certaines zones d’une image afin de modifier uniquement les pixels concernés, sans perturber le reste de la scène. Leur version la plus récente, PixelDiT2, améliore cette approche en optimisant l’implémentation de la diffusion en espace de pixels. Selon les auteurs, le modèle atteint des performances proches de celles des systèmes les plus avancés reposant sur l’espace latent, tout en conservant la possibilité de contrôler finement chaque pixel. Ces travaux doivent être présentés à la conférence NeurIPS en décembre et sont déjà disponibles sous forme de prépublication sur le serveur arXiv. Les chercheurs envisagent maintenant d’appliquer cette technique à la génération de vidéos, un domaine encore plus difficile car il impose une grande cohérence entre les images successives. Selon Jiebo Luo, la maîtrise du pixel-level pour les images place leur équipe en bonne position pour proposer, à terme, des modèles capables de générer des vidéos avec un contrôle tout aussi précis sur les détails visuels.
