FuseFormer：在Transformer中融合细粒度信息以实现视频修复

Transformer作为一种强大的灵活架构，用于建模长距离关系，在视觉任务中得到了广泛的应用。然而，在需要细粒度表示的视频修复任务中，现有的方法由于硬分割补丁（hard patch splitting）而仍然存在生成模糊边缘的问题。为了解决这一问题，我们提出了一种名为FuseFormer的Transformer模型，该模型通过基于新颖的软分割（Soft Split）和软组合（Soft Composition）操作的细粒度特征融合来实现视频修复。软分割将特征图以给定的重叠间隔划分为多个补丁。相反，软组合通过将不同的补丁缝合为一个完整的特征图来操作，在重叠区域中的像素被累加起来。这两个模块首先在Transformer层之前的标记化过程中以及Transformer层之后的去标记化过程中使用，以实现标记与特征之间的有效映射。因此，子补丁级别的信息交互得以实现，从而在相邻补丁之间更有效地传播特征，最终生成视频中空洞区域生动的内容。此外，在FuseFormer中，我们精心地将软组合和软分割插入到前馈网络中，使一维线性层具备建模二维结构的能力，并进一步增强了子补丁级别的特征融合能力。在定量和定性评估中，我们提出的FuseFormer均超越了现有最先进方法。我们还进行了详细的分析以验证其优越性。