画笔变换器：基于笔触预测的前馈神经绘画

神经绘画（Neural Painting）是指通过神经网络生成一系列笔触，对给定图像进行非照片真实感重构的过程。尽管基于强化学习（Reinforcement Learning, RL）的智能体能够逐步生成笔触序列以完成该任务，但训练稳定且高效的RL代理仍面临较大挑战。另一方面，传统的笔触优化方法需在庞大的搜索空间中迭代寻找最优的笔触参数组合，其计算效率较低，严重制约了该类方法的广泛应用与实际可行性。与以往方法不同，本文将该任务建模为一个集合预测问题，并提出一种基于Transformer架构的新型框架——Paint Transformer，利用前馈网络直接预测一组笔触的参数。该方法可并行生成完整笔触集合，从而在接近实时的响应速度下完成512×512分辨率图像的最终绘画输出。尤为重要的是，由于目前尚无适用于Paint Transformer训练的现成数据集，我们设计了一种自训练（self-training）流程，使模型能够在无需依赖任何外部预训练数据集的情况下完成训练，同时仍保持优异的泛化能力。实验结果表明，所提方法在绘画质量上优于现有方法，且在训练与推理成本方面均更为经济高效。相关代码与模型已公开。