PixelDiT2 steuert KI-Bildgenerierung auf Pixelebene

Forschende der University of Rochester und des KI-Infrastrukturunternehmens NVIDIA haben mit PixelDiT2 ein Verfahren vorgestellt, das KI-generierte Bildinhalte nicht nur schneller, sondern auch präziser editierbar macht. Im Zentrum steht ein Modell, das auf Pixelraum-Diffusion statt auf der verbreiteten Diffusion im latenten Raum setzt. Während herkömmliche Text-zu-Bild-Systeme Beschreibungen komprimiert darstellen und einzelne Pixel nur indirekt beeinflussen, erlaubt der neue Ansatz direkte Eingriffe in definierte Bildregionen, etwa die Korrektur einer Brille oder einer Fahrzeugfarbe, ohne unrelated Bereiche zu verändern. Die Gruppe um Jiebo Luo, Professor für Ingenieurwissenschaften an der University of Rochester, hatte zunächst das Vorgängermodell PixelDiT entwickelt und auf der IEEE/CVF Conference on Computer Vision and Pattern Recognition 2026 präsentiert. Das aktuelle PixelDiT2 wurde im Dezember auf der NeurIPS vorgestellt und ist als Preprint auf arXiv unter der DOI 10.48550/arxiv.2609.24919 verfügbar. Beteiligt sind unter anderem der Doktorand und NVIDIA-Praktikant Yongsheng Yu sowie der NVIDIA-Forscher Wei Xiong. Durch die effiziente Implementierung der Pixelraum-Diffusion erreicht PixelDiT2 laut den Forschenden nahezu die Qualität führender latenten Modelle, bietet jedoch eine deutlich höhere Kontrolle über einzelne Pixel. Damit adressiert die Arbeit ein zentrales Problem etablierter Diffusionsmodelle: ihre mangelnde Eingriffstiefe nach der initialen Bildgenerierung. Als nächstes Schrittprojekt plant das Team, die Methode auf die KI-gestützte Videogenerierung zu übertragen, wo kontrollierte Pixelveränderungen über Zeitabläufe hinweg besonders anspruchsvoll sind, da Übergänge zwischen Einzelbildern natürlich bleiben müssen.