NVIDIA NeMo Automodel集成Diffusers,支持视频图像模型规模化微调
近日,英伟达与Hugging Face联合发布深度融合方案,正式将NVIDIA NeMo Automodel开源训练框架与Hugging Face Diffusers库无缝对接。该集成旨在为开源文生图与文生视频模型提供生产级分布式微调能力,全面支持FLUX系列、Wan及HunyuanVideo等主流模型。此次合作的核心突破在于彻底消除格式转换壁垒。用户可直接调用Hugging Face Hub预训练权重,微调后的检查点无缝兼容原始推理管线及下游工具链。架构方面,NeMo Automodel内置FSDP2并行、多分辨率分桶加载与潜空间缓存技术,显著降低显存占用并提升吞吐。系统同时支持全量微调与LoRA参数高效微调,兼顾极致画质与单节点算力效率。实测表明,在八卡NVIDIA H100集群下,FLUX.1-dev模型全量微调与LoRA微调分别实现每秒35.5张与53.7张图像的生成吞吐。风格化微调实验验证了其在保留语义前提下的精准风格迁移能力。未来版本将引入原生Pythonic API以深化工程集成。该方案已遵循Apache 2.0协议全面开源,标志着扩散模型工业化微调迈入标准化新阶段。
