预训练图像处理变压器

随着现代硬件计算能力的显著提升，基于大规模数据集预训练的深度学习模型（如BERT、GPT-3）在性能上已经超越了传统方法。这一重大进展主要归功于Transformer及其变体架构的表示能力。本文研究了低级计算机视觉任务（如去噪、超分辨率和除雨），并开发了一种新的预训练模型，即图像处理Transformer（IPT）。为了最大限度地挖掘Transformer的能力，我们提出利用著名的ImageNet基准数据集生成大量损坏的图像对。IPT模型在这类图像上通过多头和多尾进行训练。此外，引入了对比学习以更好地适应不同的图像处理任务。因此，经过微调后，预训练模型可以高效地应用于所需任务。仅使用一个预训练模型，IPT在多个低级基准测试中超越了当前最先进的方法。代码可在以下地址获取：https://github.com/huawei-noah/Pretrained-IPT 和 https://gitee.com/mindspore/mindspore/tree/master/model_zoo/research/cv/IPT