一句话总结

DrawingSpinUp 采用“先移除后恢复”策略以解决视图依赖的轮廓歧义，并结合基于骨架的细化变形算法来精修精细结构，从而从单张角色绘图中生成高质量 3D 动画。实验评估与感知用户研究均证实，其性能显著优于现有的 2D 和 3D 动画方法。

核心贡献

• DrawingSpinUp 直接从单张角色绘图中显式重建 3D 模型，以实现自由视角的动作重定向，克服了以往动画方法受限于平面 2D 的不足。
• 采用“先移除后恢复”策略在纹理合成前消除视图依赖的轮廓线，同时利用基于骨架的细化变形算法精修精细的单线结构。
• 全面的实验与感知用户研究表明，该流程能够从业余角色绘图中生成高质量 3D 动画，性能超越现有的 2D 与 3D 动画方法。

引言

该研究针对为单张角色绘图赋予动画效果的创作挑战，通过将静态草图转换为支持复杂动态的 3D 模型加以解决。让手绘角色“活”起来对数字叙事、游戏及交互媒体具有重要价值，但现有技术难以提供令人信服的结果。二维变形方法将角色限制在平面运动内，缺乏空间深度；而现代图像到 3D 重建模型因与照片级真实训练数据存在领域差异，无法有效处理业余草图。这些模型常将视图依赖的轮廓线误判为内部纹理，且无法准确重建如纤细四肢等精细的单线结构。为突破上述局限，该工作提出 DrawingSpinUp 流程。该流程临时移除轮廓线以支持稳健的 3D 几何重建，应用基于骨架的细化算法以保留纤细的解剖特征，并在动作重定向阶段最终恢复风格化线条。该方法成功弥合了业余草图与沉浸式 3D 动画之间的差距。

方法

该工作提出一套完整的框架 DrawingSpinUp，旨在应用目标 3D 运动的同时保留原始艺术风格，从而从单张角色绘图中生成 3D 动画。该流程划分为多个独立阶段：首先移除视图依赖的轮廓线以防止干扰 3D 重建，接着生成并细化带纹理的 3D 角色模型，最后将原始绘图风格还原至动画序列中。整体流程如图 4 所示，展示了从静态绘图到动态风格化动画的转换过程。

第一阶段涉及轮廓移除，旨在为 3D 重建提供无轮廓输入。研究将此项任务建模为图像到图像的翻译问题，采用 FFC-ResNet 从输入绘图 $I$I 及其前景掩码 $M$M 中预测轮廓掩码 $M_c$Mc​。选择该网络是因为快速傅里叶卷积具备大感受野，能够捕捉长距离依赖关系，这有利于准确识别物体边界。预测轮廓掩码后，通过对掩码区域进行图像修复来移除原始轮廓线。为确保修复过程不受背景颜色影响，定义修复区域掩码 $M_{inpaint}$Minpaint​ 为预测轮廓掩码与背景区域的并集，即 $M_{inpaint} = M_c \cup (1 - M)$Minpaint​=Mc​∪(1−M)。图像修复采用快速行进法执行，该方法将掩码区域内的每个像素替换为非掩码区域中相邻像素的归一化加权和。该过程生成修复后的绘图 $I_{inpaint}$Iinpaint​，其保留了内部纹理但去除了原始轮廓线。详细流程如图 5 所示。

轮廓移除后，系统生成粗糙的 3D 角色模型。系统利用预训练的扩散模型 Wonder3D，从无轮廓绘图中生成多视图法线图与彩色图像。随后将这些 2D 表示输入至神经表面重建器 Instant-NSR，以生成带纹理的几何体。然而，初始重建常出现几何伪影（如图 6 所示的纤细结构增厚与表面粘连）以及纹理模糊问题。为解决这些问题，系统应用了多步细化流程。首先，通过将重建几何体与前视图掩码 $M$M 进行相交操作执行形状裁剪，依据符号距离函数（SDF）的 0 水平集将轮廓修剪至正确的正视图。此步骤（如图 8 (e) 所示）修正了轮廓，但未解决侧面厚度问题。为降低侧面结构的厚度，该工作开发了基于骨架的细化变形算法。该算法将问题视为双调和变形，其中变形场 $d$d 基于手柄顶点处的已知位移，利用拉普拉斯算子进行计算。手柄顶点通过从前景掩码 $M$M 中提取距离图 $D$D 与骨架 $S$S 来确定。根据顶点距骨架的距离及距离阈值，将顶点分类为固定点（$P_{fix}$Pfix​）或需移动点（$P_{mov}$Pmov​）。需移动点的位移由距离图推导得出，随后应用变形。该流程（如图 7 所示）可在不改变正面轮廓的前提下，对头发与四肢等特征进行细化。细化完成后，应用拉普拉斯平滑以处理尖锐边缘。为提升纹理质量，采用颜色反投影技术，将多视图彩色图像投影至 3D 模型上以重新着色每个顶点，如图 8 (g) 所示。

流程的最终阶段为风格化轮廓恢复，旨在将原始绘图风格重新映射至动画序列。该目标通过一个两阶段、感知几何的风格化网络实现。该网络由两个级联的修改版 U-Net 组成，分别为 $U_{texture}$Utexture​ 与 $U_{contour}$Ucontour​，如图 9 所示。第一个 U-Net（$U_{texture}$Utexture​）负责恢复内部纹理细节，第二个（$U_{contour}$Ucontour​）专注于恢复外部轮廓线。为增强运动下的稳定性，$U_{texture}$Utexture​ 中除最后一层外的所有卷积层均被替换为旋转不变坐标（RIC）卷积。网络采用基于块的方式进行训练，利用来自引导通道与真实标签的小尺寸 $k \times k$k×k 块来学习风格化任务。风格化网络的输入设计旨在维持多视图一致性。对于每个动画帧 $F$F，网络接收原始彩色帧、前景掩码 $G_{mask}$Gmask​、由角色静止姿态坐标推导出的位置提示 $G_{pos}$Gpos​，以及通过 Canny 检测器从 Z 深度提取的边缘图 $G_{edge}$Gedge​。第一个 U-Net $U_{texture}$Utexture​ 接收 $(F, G_{mask}, G_{pos})$(F,Gmask​,Gpos​) 以生成中间风格化帧 $O'$O′。随后，将边缘图 $G_{edge}$Gedge​ 叠加至 $O'$O′ 上，第二个 U-Net $U_{contour}$Ucontour​ 接收 $(O' + G_{edge}, G_{mask}, G_{pos})$(O′+Gedge​,Gmask​,Gpos​) 以生成最终风格化帧 $O$O。这种两阶段方法实现了纹理与轮廓细节的顺序恢复。整个过程如图 4 (c) 所示，展示了无轮廓动画角色如何转化为风格化动画序列。

实验

评估通过分阶段计时衡量计算效率，通过直接与现有方法的视觉对比评估定性性能，通过受控用户研究评估感知质量，并通过组件移除测试验证架构必要性。运行时间测量证实该流程支持高效的角色建模与快速的动画生成，对比演示表明该方法成功生成了具备 3D 感知能力的结果，能够忠实追踪输入动作并保留原始艺术风格。用户评分与消融测试进一步验证，该系统在动作一致性与风格保留方面显著优于竞品，证实轮廓移除、结构细化与旋转不变处理对于在多样姿态下维持视觉连贯性至关重要。