一句话总结

通过将条件生成对抗网络应用于3D模型生成，并引入训练步骤引导机制，作者在无需修改标准网络架构的情况下，实现了在可控旋转角度下成对3D模型的一致性合成，实验结果与视觉对比均验证了这一点。

核心贡献

• 本工作将条件生成对抗网络应用于自动化生成不同旋转角度下的3D体素模型。
• 一种新颖的训练引导机制强制实现跨条件一致性，使网络能够在不修改标准条件GAN架构的情况下，在不同可控旋转角度下输出相同的3D样本。
• 实验结果与视觉对比证明了成对3D模型的成功生成。该框架还支持使用成对、非成对或非对应样本集进行灵活训练。

引言

自动化3D模型生成通过规避手动扫描和耗时设计的限制，简化了数字内容创作流程。尽管条件生成对抗网络能够实现可控生成，但其隐变量纠缠问题会导致模型在条件变化时生成完全不同的对象。现有生成一致性成对输出的解决方案通常需要定制网络架构、复杂建模或严格配对的训练数据集。作者采用了一种新颖的训练策略，该策略可直接集成到标准CGAN流程中以克服上述局限。该方法在不修改底层架构的前提下，引导网络在可控旋转角度下生成相同的3D体素模型，从而有效利用成对、非成对或无关域数据实现一致的成对生成。

方法

作者以条件生成对抗网络（CGAN）框架为基础构建该方法，并通过增加一个额外的训练步骤来解决在不同条件下生成一致性成对输出的挑战。整个系统在生成器 $G$G 与判别器 $D$D 之间的极小极大博弈中运行，两个模型同时训练。核心架构基于条件GAN，如下图所示的框架图所示，生成器接收随机噪声向量 $\mathbf{z}$z 和条件值 $\mathbf{c}$c 作为输入。这种条件输入使生成器能够针对特定属性（例如3D对象的不同旋转角度）生成定制样本。

生成器函数定义为 $G(\mathbf{z}|\mathbf{c})$G(z∣c)，接收输入向量 $\mathbf{z}$z 和条件 $\mathbf{c}$c 以生成样本。判别器 $D$D 同样接受条件输入，同时接收样本和条件 $\mathbf{c}$c 以评估其真实性。标准CGAN的目标函数被表述为极小极大博弈，其中生成器旨在最小化判别器正确识别其输出为伪造样本的对数概率，而判别器则旨在最大化区分真实样本与生成样本的能力。

为克服标准CGAN的局限性（即在相同输入向量 $\mathbf{z}$z 下，不同条件会生成不同的独立样本），作者引入了一种新颖的训练步骤。该步骤旨在针对同一输入在不同条件下强制生成相似且一致的样本。如图所示的流程包括使用相同的输入向量 $\mathbf{z}$z 但不同的条件值 $\mathbf{y}_0, \mathbf{y}_1, \cdots, \mathbf{y}_n$y0​,y1​,⋯,yn​ 生成 $n$n 个样本 $S_0, S_1, \cdots, S_n$S0​,S1​,⋯,Sn​。随后，这些样本由领域特定融合算子 $M$M 处理，该算子首先对齐生成的样本，然后通过平均体素值等方式进行合并，最终输出单一融合结果。

该融合样本被输入判别器以评估其真实性。核心创新在于目标函数，该函数将此融合步骤作为额外项纳入其中。总目标函数变为标准CGAN损失与新项之和，若融合结果不真实，则会对生成器进行惩罚。这迫使生成器不仅要产生逼真的样本，还要确保在相同输入向量下，不同条件生成的样本高度相似，从而实现成对或一致性输出的生成。训练算法通过交替执行标准CGAN更新与新融合更新来迭代优化模型。

实验

评估使用ModelNet数据集生成椅子、床和沙发的3D体素模型，并在双旋转与四旋转条件下测试标准条件GAN与所提方法。这些实验验证了模型在不同旋转输入下生成对象时保持结构一致性的能力。定性来看，基线网络在不同条件下对相同输入始终生成无关的形状，而所提框架成功生成了高度相似的模型，且在融合时能够保持一致的对齐。尽管增加的旋转复杂度在四条件设置中引入了轻微噪声，但所提方法通过在整个训练过程中可靠地强制跨条件一致性，在根本上优于基线方法。

作者将所提方法与基线条件GAN在生成不同旋转条件下3D模型的任务上进行对比。结果表明，与在不同朝向下为同一物体类别生成显著不同模型的基线相比，所提方法在旋转间产生了更一致的输出。所提方法在生成样本间实现了更高的相似度，这由平均绝对差与体素一致率指标共同证实。与基线方法相比，所提方法在不同旋转下生成了更一致的3D模型。所提方法在生成样本间取得了更高的相似度，平均绝对差与体素一致率指标均有改善。基线方法在不同朝向下为同一物体生成显著不同的模型，而所提方法则保持了输出的一致性。

作者将所提方法与基线条件GAN在生成不同旋转条件下3D模型的任务上进行对比。结果表明，与基线相比，所提方法在旋转间生成了更一致的模型，这由更低的平均绝对差与更高的体素一致率所证实。该改进在某些物体类别中尤为明显，且在双条件与四条件设置下均表现出稳定的性能。与基线方法相比，所提方法在不同旋转下生成了更一致的3D模型。所提方法取得了更低的平均绝对差与更高的体素一致率，表明生成模型间的相似度更高。一致性改进在某些物体类别中更为显著，所提方法在多种旋转条件下均能维持一致的输出。

实验通过在变化的旋转条件下生成3D模型，将所提方法与基线条件GAN进行对比，以验证旋转一致性与结构稳定性。结果表明，所提方法在不同朝向下均能保持高度一致的输出，而基线方法则为相同物体生成显著差异的模型。这种旋转不变性在多种实验设置中均成立，并在特定物体类别中表现出极强的鲁棒性，证实了该方法在任意视角下保留几何一致性的卓越能力。