2 个月前

Text2Mesh:基于文本驱动的网格神经风格化

Michel, Oscar ; Bar-On, Roi ; Liu, Richard ; Benaim, Sagie ; Hanocka, Rana
Text2Mesh:基于文本驱动的网格神经风格化
摘要

在本研究中,我们开发了直观的控制方法,用于编辑3D对象的风格。我们的框架Text2Mesh通过预测符合目标文本提示的颜色和局部几何细节来对3D网格进行风格化处理。我们考虑了一种解耦表示方法,即将3D对象表示为固定网格输入(内容)与一个学习到的神经网络相结合,我们将这个神经网络称为神经风格场网络(neural style field network)。为了修改风格,我们利用CLIP的表征能力,获取描述风格的文本提示与已风格化的网格之间的相似度分数。Text2Mesh既不需要预训练生成模型,也不需要专门的3D网格数据集。它可以处理任意亏格的低质量网格(如非流形、边界等),并且不需要UV参数化。我们展示了该技术在各种3D网格上合成多种风格的能力。