Pix2Next：利用视觉基础模型实现RGB到NIR图像转换

本文提出了一种名为Pix2Next的新颖图像到图像转换框架，旨在解决从RGB输入生成高质量近红外（NIR）图像的挑战。我们的方法在编码器-解码器架构中利用了最先进的视觉基础模型（VFM），并通过引入交叉注意力机制来增强特征融合。该设计不仅捕捉到了详细的全局表示，还保留了关键的光谱特性，将RGB到NIR的转换视为不仅仅是简单的域迁移问题。多尺度PatchGAN判别器确保了在不同细节层次上生成逼真的图像，而精心设计的损失函数则将全局上下文理解与局部特征保留相结合。我们在RANUS数据集上进行了实验，以展示Pix2Next在定量指标和视觉质量方面的优势，相比现有方法，FID分数提高了34.81%。此外，我们通过使用生成的NIR数据扩充有限的真实NIR数据集，展示了Pix2Next在下游目标检测任务中的实际应用价值，性能得到了显著提升。所提出的这种方法能够在不增加额外数据采集或标注工作的情况下扩大NIR数据集规模，有望加速基于NIR的计算机视觉应用的发展。