Command Palette

Search for a command to run...

1 个月前

Hunyuan3D-Omni:一种用于可控生成3D资产的统一框架

Hunyuan3D-Omni:一种用于可控生成3D资产的统一框架

摘要

近年来,面向3D的生成模型取得了显著进展,极大加速了游戏、影视与设计领域资产的创建。然而,现有大多数方法仍主要依赖图像或文本作为条件输入,缺乏细粒度的跨模态控制能力,限制了生成过程的可控性与实际应用价值。为弥补这一不足,我们提出 Hunyuan3D-Omni——一个基于 Hunyuan3D 2.1 构建的统一框架,支持细粒度、可控制的3D资产生成。除图像外,Hunyuan3D-Omni 还可接受点云、体素、边界框以及骨骼姿态等先验信息作为条件信号,从而实现对几何形状、拓扑结构与姿态的精准控制。与传统方法中为每种模态设置独立分支不同,我们的模型采用统一的跨模态架构,将所有条件信号融合于同一框架中。我们引入一种渐进式、难度感知的采样策略进行训练:每个样本仅选择一种控制模态,并倾向于优先采样更难的信号(如骨骼姿态),同时降低较易信号(如点云)的权重,从而促进鲁棒的多模态融合,并有效应对输入缺失的情况。实验结果表明,这些增强的控制机制显著提升了生成精度,支持基于几何感知的变换操作,并增强了生产工作流中的整体鲁棒性。

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供