用于故事可视化的中立变压器模型

故事可视化是计算机视觉中的一个高级任务，旨在实现顺序图像合成，其中生成的样本需要具备现实性、忠实于其条件且在序列上保持一致。我们的研究提出了一种新颖的架构和训练方法：公正变换器（Impartial Transformer）利用尽可能少的可训练参数，实现了既与文本相关又具有合理性的场景以及顺序一致性。这一改进甚至能够处理包含被遮挡物体的“困难”样本的合成，相较于以往的方法，在评估指标上取得了显著提升。