NeMo Automodel & Diffusers: Bild- und Video-KI fine-tunen
NVIDIA und Hugging Face haben eine Integration zwischen der Open-Source-Bibliothek NVIDIA NeMo Automodel und der Hugging Face Diffusers-Plattform vorgestellt. Diese Zusammenarbeit ermöglicht es Entwicklerinnen und Forschenden, verteilte Diffusionsmodelle für Text-zu-Bild- und Text-zu-Video-Generationen direkt im Produktionsbetrieb zu fine-tunen, ohne konventionelle Checkpoint-Konvertierungen oder Codeanpassungen durchführen zu müssen. NeMo Automodel, Teil des NVIDIA NeMo-Frameworks, nutzt als Trainingsziel das Flow-Matching in einem latenten Raum. Die Integration unterstützt eine breite Palette aktueller Open-Source-Modelle, darunter FLUX.1 und FLUX.2, Wan 2.1 und 2.2, HunyuanVideo 1.5 sowie Qwen-Image. Ein zentraler Vorteil liegt in der nahtlosen Kompatibilität: Vorgefertigte Gewichte werden direkt vom Hugging Face Hub geladen, und die angepassten Checkpoints sind sofort in bestehenden Diffusion-Pipelines sowie Downstream-Tools wie Quantisierungs- oder Sampling-Techniken einsetzbar. Das Toolkit bietet sowohl vollständiges Fine-Tuning als auch parameter-effiziente Anpassungen via LoRA. Für den Einsatz auf Clustern stehen skalierbare Parallelisierungsverfahren wie FSDP2, Tensor- und Pipeline-Parallelismus sowie multiresolution Bucketing zur Verfügung, wodurch auch ressourcenintensive Modelle mit mehreren Milliarden Parametern effizient trainierbar werden. Der Workflow basiert auf YAML-Konfigurationsdateien, die reproduzierbare Trainingsläufe gewährleisten und durch Kommandozeilenparameter flexibel anpassbar sind. Vorkonkodierte VAE-Latenzen und Text-Embeddings beschleunigen den Vorverarbeitungsschritt erheblich. Leistungstests auf einem Cluster mit acht NVIDIA H100-GPUs belegen die Effizienz der Lösung. Beim Full-Fine-Tuning von FLUX.1 erreichte das System über 35 Bilder pro Sekunde, während LoRA-Ansätze mit DDP sogar höhere Bildraten ermöglichten. Ähnliche Performance-Metriken wurden für Wan- und HunyuanVideo-Modelle verzeichnet. Praktische Demonstrationsläufe zeigen, dass das System sowohl stilistische Spezialanpassungen als auch inhaltliche Präzision zuverlässig behält. Mit der Apache-2.0-Lizenz ist die Integration vollständig open-source und in der offiziellen Diffusers-Dokumentation sowie im GitHub-Repository von NeMo Automodel verfügbar. In zukünftigen Versionen plant NVIDIA, den YAML-basierten Einstieg durch eine vollständig typisierte Pythonic API zu ergänzen, die eine programmatic Integration in bestehende Notebooks und Training-Frameworks erlaubt. Die Veröffentlichung unterstreicht den Trend zur Standardisierung skalierbarer Trainingsinfrastrukturen für generative KI-Modelle.
