上海交大团队提出自适应增强范式，显著提升计算机视觉分割模型性能

上海交通大学智能网联电动汽车创新中心的溥渊团队在张颂安老师的指导下，在计算机视觉领域的顶级国际会议IEEE/CVF International Conference on Computer Vision (ICCV) 上发表了题为《Adapt Foundational Segmentation Models with Heterogeneous Searching Space》的研究论文。该论文的第一作者是2023级宁德时代联培硕士生易立。 通用基础分割模型在处理特殊图像域（例如伪装物体或医疗检测）时表现不佳。这是由于训练这些模型所需的数据集准备非常困难，且耗费大量时间，因此传统的微调方法在这些场景中往往难以实现。为解决这一问题，研究者们尝试在不改变模型参数的前提下，通过对输入图像进行预增强来优化分割效果。 目前，图像增强主要依赖两种方法：基于规则的方法和基于学习的方法。基于规则的方法虽然简单直接，但其增强效果有限；而基于学习的方法虽能产生更多样的增强策略，但结果通常是不可解释的，比如深度估计等。这两种方法的结合形成了一个异构搜索空间，如何有效利用这一空间成为了研究的关键挑战。 在这项研究中，溥渊团队提出了“自适应增强”（Augment To Adapt）的新范式，旨在使用最优的图像增强策略来改善通用基础分割模型在不同图像域上的表现。该方法综合了32种不同的增强技术（包括22种基于规则的技术和10种基于学习的技术），构建了一个高鲁棒性的异构搜索空间。通过这种方法，团队能够在不调整模型参数的情况下显著提高分割性能。 为了将这一方法在实际场景中高效应用，团队采用了蒸馏技术来加速预处理过程。实验结果显示，该方法在多个公开数据集上都有显著的提升，包括NJU2k、VT1k、CAMO、NC4k、COD10k、Kvasir-SEG、BUSI、KoletorSDDV2和MTSD。这些数据集涵盖了伪装物体检测、医学图像分析等多个领域，证明了该方法的广泛适用性和有效性。 该研究得到了业内高度关注和认可。专家们认为，这项技术为解决通用基础分割模型的跨域适应问题提供了一种全新的思路，具有重要的应用前景。特别是在自动驾驶和医疗影像分析等领域，自适应增强有望提高系统的工作效率和精确度。