17 天前

视线中的船舶:基于扩散模型的船舶图像超分辨率

Luigi Sigillo, Riccardo Fosco Gramaccioni, Alessandro Nicolosi, Danilo Comminiello
视线中的船舶:基于扩散模型的船舶图像超分辨率
摘要

近年来,图像生成领域取得了显著进展,主要得益于在各类图像生成子任务(如图像修复、去噪和超分辨率)中对高质量输出日益增长的需求。其中,超分辨率技术的应用成为研究重点,旨在提升低分辨率图像的质量。在此背景下,本文深入探讨了船舶图像超分辨率这一关键问题,该问题在海岸与港口监控中具有重要意义。我们抓住文本到图像扩散模型日益兴起的机遇,充分利用此类基础模型已学习到的先验知识。具体而言,提出了一种基于扩散模型的架构,在训练过程中引入文本条件并具备类别感知能力,从而在生成高分辨率图像时最大程度地保留船舶的关键细节。由于该任务的特殊性以及现成可用数据的稀缺,我们还从网络公开的船舶图像中(主要来自 ShipSpotting 网站,网址:https://www.shipspotting.com)构建了一个大规模标注的船舶图像数据集。实验结果表明,所提方法在多个评估场景下均优于以往用于超分辨率任务的深度学习模型,展现出更强的鲁棒性。此外,我们进一步探讨了该模型在下游任务(如分类与目标检测)中的应用潜力,凸显其在真实场景中的实用价值。实验结果验证了所提出框架在不同任务上的灵活性、可靠性以及卓越性能,显著优于当前主流方法。代码已开源,访问地址为:https://github.com/LuigiSigillo/ShipinSight。