英伟达新工具可将3D场景转化为AI图像，实现3D引导生成AI图像的组成控制

近日，英伟达（Nvidia）推出了一款新的生成式AI工具——Nvidia AI Blueprint for 3D-guided generative AI，允许用户通过在3D环境中构建场景来生成高质量的2D图像。这款工具支持配置有RTX 4080及以上显卡的计算机使用，主要通过连接Blender 3D建模软件和Black Forest Lab的FLUX.1图像生成器来实现功能。用户可以通过在Blender中摆放建筑物、植物、动物和车辆等3D对象，创建出他们想要的场景，这些3D模型作为参考，指导2D图像的生成。相比以往仅靠文字描述的方式，3D引导生成AI工具能让用户更精准地控制图像细节，降低生成过程中反复调整的挫败感，提高创作效率。 Nvidia AI Blueprint for 3D-guided generative AI被称为“预定义、可定制的AI工作流程”，为用户提供详细的文档、示例资产和预先配置的环境，帮助用户轻松上手。该工具的核心优势在于，用户无需具备高超的3D建模技巧，也不需准备精细的对象或高质量的纹理，简单的3D草图即可转换为灰度深度图，进而指导2D图像的生成。此外，由于场景是3D的，用户可以轻松调整对象位置和摄像机角度，获得更多创造自由度。 为了实现这一工作流程，Nvidia开发了一款名为ComfyUI的强大工具，用于链接生成式AI模型。用户可以通过ComfyUI将Blender与图像生成器连接，简化操作流程。同时，借助NVIDIA NIM微服务，用户可以在GeForce RTX GPU上高效部署FLUX.1-dev模型，利用TensorRT优化技术提高生成性能。尤其在Blackwell架构的最新突破下，FLUX.1-dev NIM微服务在FP4精度下的量化和优化，实现了比原生PyTorch FP16超过一倍的推理速度。对于采用Ada Lovelace代GPU的用户，FLUX.1-dev NIM微服务还提供了FP8版本，进一步减少模型占用的VRAM，模型大小在FP4格式下比FP16减少了两倍以上。 除了3D引导生成AI工具外，Nvidia还提供了10个NIM微服务，适用于多种AI应用场景，如图像和语言生成、语音AI和计算机视觉。未来，Nvidia将继续推出新的蓝图文档和服务，通过RTX AI Garage博客系列，每周分享社区驱动的AI创新和相关内容，帮助用户更好地理解和使用这些技术。这一系列举措不仅提升了高性能工作流的可访问性，也为创意工作者和开发者带来了更多的可能性。 在市场方面，虽然Nvidia的3D引导生成AI工具目前在同类产品中处于领先地位，但竞争对手也在纷纷进入这一领域。例如，Adobe在今年十月的MAX大会上展示了一款类似但尚在试验阶段的工具——“Project Concept”。该工具同样允许用户在3D环境中绘制场景，以指导图像生成。不过，Adobe的工具何时正式发布尚未确定，Nvidia目前仍占据一定先发优势。 业内专家认为，Nvidia的AI Blueprint将进一步推动生成式AI领域的发展，尤其在创意产业和计算领域。作为全球领先的图形处理器供应商，Nvidia一直在开发和支持前沿技术，此次推出的3D引导生成AI工具再次证明了其技术创新能力。这款工具不仅丰富了Nvidia的产品线，更成为创意工作者手中的一大利器，预计将对AI艺术创作产生深远影响。 背景补充： 英伟达（Nvidia）是全球领先的图形处理器（GPU）制造商，自1999年首次推出GPU以来，一直在推动计算图形技术的发展。近年来，Nvidia加大了在AI领域的投入，推出了多项创新工具和技术。此次发布的新工具Nvidia AI Blueprint for 3D-guided generative AI，结合了该公司在图形处理和AI计算方面的专长，为用户提供了高效且灵活的图像生成解决方案。专家预测，这将进一步巩固Nvidia在AI技术领域的领先地位，促进AI技术在创意产业中的广泛应用。