Instruct-IPT：通过权重调制实现的多功能图像处理变压器

由于低级视觉模型的体积庞大且计算成本高昂，旨在同时解决多个低级视觉任务的“一站式”模型变得越来越受欢迎。然而，现有的“一站式”模型在任务范围和性能方面存在局限性。为了克服这些限制，我们提出了一种新的方法——Instruct-IPT（一种图像处理变压器），该方法能够有效应对具有较大任务间差异的多种图像复原任务，如去噪、去模糊、去雨、去雾和除雪。大多数研究提出了特征适应方法，但我们发现这些方法在处理高度不同的任务时效果不佳，并建议采用权重调制的方法来适应特定任务。首先，我们搜索任务敏感权重并在其基础上引入任务特定偏差。其次，我们进行秩分析以制定有效的压缩策略，并对偏差进行低秩分解。最后，我们提出同步训练方法，同时更新任务通用的主干模型和任务特定的偏差。通过这种方式，模型被指导学习一般知识和特定任务的知识。通过我们的简单而有效的方法指导IPT成为特定任务的专家，Instruct-IPT能够在较低的成本下更好地协调具有不同特性的任务之间的合作。此外，我们还使Instruct-IPT能够接收人类提示。我们已经进行了实验以证明我们的方法在多种任务上的有效性，并成功将该方法扩展到扩散去噪器中。代码可在https://github.com/huawei-noah/Pretrained-IPT 获取。